微调还是不微调：大模型定制化路线选择实战

摘要："我们的模型效果不好，是不是该微调？"这是企业 AI 落地中最常见的错误起点。本文给出一套定制化路线的决策框架：什么时候用提示词、什么时候上 RAG、什么时候才真的需要微调，以及决定微调之后，数据、方法与流程怎么走。

一、一个常见的悲剧开头

某企业希望模型按公司规范输出合同审查意见。团队的第一反应是微调：攒了两万条历史审查记录，训练一周，效果——格式确实像了，但审查意见张冠李戴，该引用的条款一个都没对上。

问题出在哪？**他们想解决的是"知识"问题（公司条款是什么），却选了"行为"问题的工具（微调）。**微调擅长塑造模型的行为风格，不擅长注入事实知识——后者的正确工具是检索增强（RAG）。

路线选错的代价是双倍的：微调白做了，回头还得补 RAG。所以本文先讲决策，再讲方法。

二、四条路线，各有各的战场

把"让模型更好地完成我的任务"拆开，其实有四条路线，对应四类问题：

决策顺序建议从上往下排查：先穷尽提示词能解决的——大量"效果差"只是提示词没写清任务和范例；再判断缺的是知识还是能力——缺知识上 RAG，缺能力换模型或改任务拆解；最后才是微调。

微调真正无可替代的三个场景：

1. 风格与语感：客服话术要符合品牌人设、法律文书要有行业行文习惯——这类"手感"很难用提示词穷举，微调一次到位；
2. 严格格式与稳定输出：需要模型在高并发下稳定输出特定结构（如固定 Schema 的抽取），微调后的服从性显著更好；
3. 小模型替代大模型：把某类高频任务从大模型迁到小模型上降本——这时微调不是可选项，而是唯一途径：小模型的基础能力不足，必须靠微调把它在这一个任务上"练熟"。

反过来，两个典型的"不该微调"信号：需求本质是知识更新（条款、价格、产品资料会变——微调一次是快照，知识库是活水）；需求本质是能力提升（数学推理、复杂规划——微调教不会能力，那是预训练和强化学习的领地）。

三、决定了微调：三条技术路线怎么选

全参数微调（Full SFT）：所有参数都更新。效果上限最高，但需要完整训练资源与精心的学习率控制，小数据下容易"训崩"。适合数据充足（万条以上）、任务与通用能力差异大的场景。

LoRA 及其变体：冻结原模型，只训练注入的低秩适配矩阵。训练成本降一个数量级，效果对绝大多数企业任务足够，多个适配器可按任务热切换。企业定制的默认首选。显存紧张时叠加量化（QLoRA），单卡即可起步。

偏好优化（DPO 一类）：不再训练奖励模型，直接用"好答案 / 坏答案"对比对做优化。适合你有明确好坏样本的任务（比如客服回复的满意度分差），比传统 RLHF 简单一个量级。

选择逻辑一句话：**先用 LoRA 验证方向，方向对了再评估是否值得上全参。**直接上全参的团队，大多是在为不确定性预付高昂学费。

四、数据：微调成败的八成在这里

微调数据的三条铁律：

**质量压倒数量。**两千条精标数据胜过两万条从日志里倒出来的脏数据。脏数据的可怕之处在于它教得很"成功"——模型会忠实学会你数据里的所有毛病，包括错别字、口径混乱和自相矛盾。

**分布要贴真实流量。**训练数据要覆盖真实使用中的难度分布与场景分布，而不是只挑简单好看的样本。用户会问什么，数据里就得有什么——包括该拒答的、该澄清的、多轮的。

**留出评测集，且它神圣不可侵犯。**从数据里切出 10%~20% 作为测试集，全程不参与训练。没有这个"高考"，微调效果就是教练自说自话。

另一个实战技巧：**混入通用数据防遗忘。**纯业务数据微调容易导致灾难性遗忘——模型学会了你的任务，忘了怎么好好说话。按比例（常见 1:5 到 1:1）混入通用指令数据，是标准的防腐剂。

五、流程：一次合格的微调长什么样

1. 先建基线：提示词 + RAG 的现有方案先调到头，记录其评测分数——微调必须打赢这个基线才值得上线；
2. 小规模快跑：几百条数据先跑一轮 LoRA，看评测方向是否正确，而不是攒半年数据赌一把大的；
3. 迭代数据而非调参：看 badcase 属于哪类（格式错、知识错、语气错），针对性补数据再训——微调的迭代单位是数据集，不是超参数；
4. 回归测试：业务任务分数提升的同时，通用能力评测不能明显倒退；
5. 灰度上线：微调模型与原模型并行跑一段流量，用真实反馈完成最终裁决。

六、结语

微调是把双刃剑的判断可以浓缩成一句话：**提示词解决"没说清"，RAG 解决"不知道"，微调解决"不像、不稳、不便宜"。**三个问题对号入座，路线自然清晰。

而在实际项目里，最优解往往是组合拳：RAG 供知识、微调定风格、提示词管细节——三者在生产系统里协同工作，而非互相替代。下一篇文章，我们把其中最容易被低估的一环——提示词——单独拿出来讲透。

本文是"前沿 AI 技术"系列第六篇。系列其他文章可在作者主页查看。欢迎在评论区交流。