大模型是怎么炼成的：从预训练到强化学习的全流程解析

摘要：每天都调用大模型的 API，但模型本身是怎么炼成的？本文把大模型的训练拆成预训练、监督微调、强化学习对齐三个阶段，讲清每个阶段在做什么、需要什么、产出了什么，并回答企业最关心的问题：这些环节里，哪些与你有关。

一、先建立一个整体图景

大模型的诞生像一场三段式的教育：

• 预训练是"读遍图书馆"——模型从海量文本中学习语言与世界的统计规律；
• **监督微调（SFT）**是"上辅导班"——用人工编写的问答范例，教会模型"如何按指令做事"；
• **强化学习（RL）**是"岗前实训"——让模型在真实任务中试错，按结果好坏调整行为，最终对齐人类的偏好与标准。

三个阶段的目标、数据与算力量级完全不同，可以用一张表看清：

下面逐段展开。

二、预训练：读遍图书馆的笨功夫

预训练的任务定义简单到令人发指：**给定前文，预测下一个词。**但把这件事在数万亿 Token 上重复数万亿次，模型就被迫学会了语法、事实、推理模式甚至一定的世界模型——因为预测下一个词的最好方式，就是真的理解上下文。

这一阶段的几个关键认知：

**数据是第一生产力。**语料的清洗、去重、配比，对最终模型质量的影响不亚于模型结构。重复数据会让模型死记硬背，低质数据会污染语言能力，配比决定了模型在代码、数学、多语言上的相对强弱。业界常说"数据工程是预训练的隐形冠军"，并不夸张。

**Scaling Law 是进度条。**模型参数、数据量、算力三者的扩展遵循可预测的规律，这让预训练变成一场"用算力换确定性"的工程：给定预算，可以大致算出能买到什么样的能力。

**训练工程是超级工程。**数千张卡互联、训练数月，中途任何一次硬件故障都要靠断点续训来兜底；训练过程中偶发的损失突刺（Loss Spike）需要一整套稳定性手段来应对。预训练的门槛不在算法，而在这种持续数月的系统稳定性——这也是它注定是少数玩家游戏的原因。

三、监督微调：教会模型"听懂人话"

预训练出来的模型叫基座模型（Base Model），它是个博学但怪癖严重的存在：你问它问题，它可能续写十个类似的问题，而不是回答。因为它的使命只是"预测下一个词"。

**监督微调（SFT）用数万到百万条高质量问答范例，教会它对话的格式与服从指令的习惯。**范例通常覆盖：指令遵循、多轮对话、代码、数学、拒答（不该答的要说不）等类别。

这一阶段的核心经验对企业极有价值：**数据质量远比数量重要。**数千条精心打磨的样本，效果常常好于几十万条粗制滥造的数据——低质数据教会模型的不是能力，而是坏习惯。这也是为什么 SFT 是企业参与大模型定制最现实的一扇门：它便宜、周期短、可由业务团队主导。

四、强化学习：从"做完"到"做好"

SFT 之后的模型会按指令做事了，但"做对格式"和"做得好"之间还有一条鸿沟。同一道数学题，SFT 模型可能写出五个不同的解法路径，哪个更优？SFT 的模仿式学习给不出答案。

强化学习补上了这一环，当前主流的两条路线是：

RLHF（基于人类反馈）：先训练一个奖励模型来模拟人类偏好——让人类对模型的多个回答排序，奖励模型学会打分；再用强化学习让主模型最大化这个分数。它解决了"好难量化"的主观任务（写作、对话风格），但奖励模型可能被钻空子——模型学会写人类评得高分、实际质量平庸的"套路文"。

RLVR（基于可验证奖励）：对有标准答案的任务——数学、代码、逻辑——直接用规则判分：答案对就是对，测试跑不过就是不过。没有奖励模型可钻，模型在海量试错中真正学会了"思考的策略"：拆解、验算、回溯。这就是推理模型的技术源头，也是近两年后训练算力占比持续上升的原因——预训练买来的知识，正在被强化学习加工成能力。

五、与你的关系：企业该关心哪一段

把三段论落到企业视角：

• **预训练：一般不碰。**算力门槛是天文数字级的，且通用能力早已供给充分。例外是极少数有海量专有数据（医疗影像、法律文书、工业时序）且数据本身高度非通用的机构，会做"继续预训练"。
• **监督微调：企业的主战场。**让模型学会你的领域术语、输出格式、业务风格，SFT 加参数高效微调（如 LoRA 一类方法）是性价比最高的路径。
• **强化学习：正在变得可参与。**随着 RLVR 工具链成熟，"用你的业务规则当奖励函数"正从研究课题变成工程选项——凡是结果可自动判定的任务（表单填写是否正确、SQL 是否跑通、客服问题是否解决），都值得评估。

一句话总结：预训练决定模型"知道什么"，后训练决定模型"擅长什么"。前者是基座的宿命，后者才是企业真正的用武之地。

六、结语

理解训练流程不是为了自己去训一个模型，而是为了在选型和使用时看懂全局：为什么有的模型数学好（强化学习给足了）、为什么有的模型听不懂人话（后训练偷工了）、为什么微调教不会新知识（知识来自预训练，微调只塑造行为）。

看清模型的来路，才能预判它的去处。这是使用一个技术的前提，也是下一篇文章的主题——当你确实需要定制模型时，微调的路线该怎么选。

本文是"前沿 AI 技术"系列第五篇。系列其他文章可在作者主页查看。欢迎在评论区交流。