OpenAI GPT 模型原理进化史

OpenAI 的进化围绕三条主线交叉推进：

1规模线（GPT-1→3）：架构不变只放大——1750 亿参数实证缩放定律，「大力出奇迹」成为行业共识。

2对齐线（InstructGPT→GPT-4→o/GPT-5）：从 RLHF 手工对齐，到系统卡/红队/分级评估的制度化对齐。

3能力线（ChatGPT→4o→o1→GPT-5）：会续写 → 会对话 → 会看图听音 → 会思考 → 会调用工具干活（Agent）。

1. 自回归解码器（GPT-1 定型的 DNA）

•单向预测下一个词，训练目标 = 生成目标——能生成、易规模化、可涌现；

•与 BERT 双向编码器分道扬镳，十年后成为唯一赢家（DeepSeek/Claude/Gemini 同路线）。

2. 少样本上下文学习（GPT-3）

•不微调、只给 prompt 示例即「学会」新任务；

•意义：能力从「训练时固定」变「使用时装配」——Prompt 工程与 Agent 玩法之根。

3. 能力涌现（GPT-3）

•部分任务跨过规模阈值后性能突然跳到可用水平；

•意义：规模带来质变；无法从小模型外推。

4. RLHF 三步对齐（InstructGPT）

•SFT → 奖励模型 RM（人类排序打分）→ PPO 强化学习（+KL 约束）；

•关键实验：13 亿 InstructGPT 胜 1750 亿 GPT-3——对齐是能力放大器。

5. 系统卡与红队（GPT-4 制度化）

•公开能力/风险/评估/红队结果；按风险分级发布；

•意义：大模型第一次有「说明书」，成为行业事实标准。

6. 原生多模态（GPT-4o）

•文本/图像/音频端到端同一网络，实时语音 232ms 级；

•模态融合度越高交互越自然——后续各家旗舰同路线。

7. 测试时扩展（o1）

•算力新维度：推理时给更多思考 token 也变强；

•RL 训练隐藏思维链；思考深度可调（o3/o4-mini 分档）。

8. 推理 + Agent 统一（o3 / GPT-5）

•o3：推理模型第一次自主组合全工具（搜索/Python/图像）；

•GPT-5：推理与对话大一统 + reasoning effort 可调 + 长程工具链稳定执行；

•趋势：「默认会想、按需深想」成为旗舰默认行为（GPT-5.4 思考计划可中途调整）。

1架构做「减法」：始终解码器不换赛道——把创新全押在数据、对齐、推理、系统上。

2规模做「加法」：参数与数据滚雪球——缩放定律（llm-理论 02）的产业验证。

3对齐做「制度化」：RLHF（手工）→ 系统卡/红队/分级（制度）——从「能对齐」到「可审计」。

4能力做「乘法」：多模态 × 思考 × 工具 = Agent——从「语言模型」到「数字员工」。

5产品做「档位」：nano/mini/标准/Pro/Codex/Thinking——同一技术按成本分档（llm-理论 04）。

•OpenAI 官方发布页：https://openai.com/index/

•OpenAI 模型发布说明（持续更新）：https://help.openai.com/articles/9624314

•GPT-1/2/3/InstructGPT/o1/GPT-5 各代技术报告（见本系列各分篇参考资料）

•学习路径：本开篇 → 01~05 分篇 → 对照 llm-基础理论 02/03/05/06

整理：2026-10-01 月绡凝 · 依据官方发布说明。