第 03 篇 · InstructGPT / ChatGPT：RLHF 与「听话的模型」

GPT-3 很强大但很难用：用户要它翻译，它自说自话；要它安全，它随口编。OpenAI 2022 年的 InstructGPT 做了一个反直觉的实验——用只有 GPT-3 千分之一大的模型（13 亿参数）+ 人类反馈训练，结果人类偏好完胜 1750 亿参数裸奔。这证明：对齐不是修修补补，而是能力放大器。两个月后 ChatGPT 上线，AI 从此走进千家万户。

1.1 为什么是三步

•只做第 1 步（SFT）：模型「会模仿」但上限是标注数据，且无法超过标注员水平；

•加上第 2 步（RM）：把「人觉得好不好」变成可优化的标量——有了反馈信号；

•第 3 步（RL/PPO）：让模型在「打分标准」上持续优化，突破标注数据的上限，同时 KL 惩罚防止模型过度改写乱说话。

1.2 结果（OpenAI 自己的实验）

2.1 它做了什么

•基座：GPT-3.5 系列（约 1750 亿级）+ 大规模 RLHF；

•形态：对话界面 + 指令遵循 + 拒绝不当请求；

•结果：5 天 100 万用户，两月破亿——史上最快消费者应用。

2.2 为什么是它引爆

1对话即产品：不需要教程，人人都能「跟 AI 说话」；

2对齐改变了交互：会认错、会拒绝、会追问——首次像「助手」而非「搜索引擎的自动补全」；

3能力被大众重新发现：写代码、写方案、改简历——第一次让普通人感受到大模型的生产力。

2.3 暴露的新问题

•幻觉：自信地胡说（对齐改善真实性，但没消灭）；

•对齐不足：越狱提示词可绕过安全限制（红队成为常态工作）；

•成本：单次对话的推理成本高——推动了后来「模型做小做快」（GPT-4o-mini 等）的效率路线。

1RLHF 三步：SFT → 奖励模型 RM → PPO 强化学习（+KL 约束）。

2核心实验：13 亿 InstructGPT 完胜 1750 亿 GPT-3——对齐是能力放大器。

3ChatGPT（2022-11）：GPT-3.5 + RLHF + 对话形态 = 史上最快破亿产品。

4对话即产品：指令遵循/认错/拒绝让 AI 首次像「助手」。

5遗留问题：幻觉、越狱、成本 → 推动对齐方法演进（DPO/宪法 AI/GRPO）与效率革命。

第 04 篇：GPT-4 与 GPT-4o——从「文本聊天」到「多模态系统」：GPT-4（2023）引入视觉理解、成为产业智商标杆，GPT-4o（2024）用「原生多模态 + 实时语音」把 AI 装进每个人的耳机。同时，安全治理（系统卡/红队/对齐制度）在 GPT-4 正式制度化——大模型第一次有了「说明书」。

•[官方] Training language models to follow instructions with human feedback（InstructGPT, 2022）：https://arxiv.org/abs/2203.02155

•[官方] ChatGPT 发布博客（2022）：https://openai.com/blog/chatgpt

•[参考] OpenAI 关于对齐的官方系列解读：https://openai.com/research/instruction-following

整理：2026-10-01 月绡凝 · 依据官方技术报告。