第 02 篇 · GPT-3：1750 亿参数的豪赌与「涌现」

GPT-2 的规模曲线让 OpenAI 认定一件事：架构不用改，规模就是一切。 于是 2020 年他们押下 1750 亿参数的豪赌——比任何公开模型大一个数量级。结果不是「更强一点」，而是出现了「少样本学习」和「能力涌现」两个新物种级现象。这篇是理解「为什么今天所有公司都在堆算力」的根源。

2.1 少样本上下文学习（Few-Shot / In-Context Learning）

•不给任何梯度更新（不微调），只在 prompt 里给几个示例，模型就能「学会」新任务：0-shot：直接问「翻译成法语：…」1-shot：给一个翻译示例few-shot：给 10 个示例 → 翻译质量逼近专门训练的模型；

•意义：能力从「训练时固定」变成「使用时装配」——这是 Prompt 工程（后来一切 Agent 玩法）的根基。

2.2 能力涌现（Emergent Abilities）

•某些任务（多位数算术、代码生成、答题）在小模型上得分接近 0；

•规模跨过某个阈值后，性能突然跳到可用水平（非平滑上升）；

•意义：无法从小模型外推预测大模型能力——规模带来「质变」而非「量变」。

2.3 知识即参数

•模型「记住」了大量世界知识（人、事、常识）——因为参数本身就是压缩的知识库；

•局限同时暴露：事实错误（幻觉）、陈旧知识（截止时间）、无法「确认来源」。

3.1 光：验证了路线

•自然语言生成达到「以假乱真」级别（短篇新闻/诗歌/代码）；

•为后续所有产品（API、Copilot、ChatGPT）提供基座；

•让「大力出奇迹」成为行业共识（→ 芯片军备竞赛的源头）。

3.2 影：暴露了三个致命伤

•结论：光有规模，只能「会说话」，不能「可用」。 这正是 InstructGPT（第 03 篇）的登场理由。

•GPT-3 的教训 = 规模有收益递减：DeepSeek 用 MoE + MLA 在同代实现了「总参数巨大、激活参数小」——知识上限追得上、单次成本砍一半（对应其家族系列 V2 篇）；

•涌现的不可预测性 = DeepSeek 自家缩放研究给出的应对：不盲赌更大，而是算清「token 收益递减点」（对应其家族系列初始版篇）。

1规模数字：1750 亿参数 / 3000 亿 token——当时全球最大。

2少样本学习：不训练、只给示例，任务即插即用 → Prompt 工程之根。

3能力涌现：跨阈值突然变强，无法从小模型外推。

4光：验证「大力出奇迹」，定义行业军备竞赛。

5影：不可控、不安全、不会推理 → 对齐时代的导火索。

第 03 篇：ChatGPT 与 RLHF——OpenAI 用 13 亿参数的 InstructGPT 证明：对齐比参数更值钱（小模型 + 人类反馈 > 大模型裸奔）。2022-11 的 ChatGPT 把「会说话的大模型」变成「听话的助手」，定义产品形态，引爆全球。这是 GPT 系列从「研究」走向「产品」的转折点。

•[官方] Language Models are Few-Shot Learners（GPT-3, Brown et al., 2020）：https://arxiv.org/abs/2005.14165

•[官方] Scaling Laws for Neural Language Models（Kaplan et al., 2020）：https://arxiv.org/abs/2001.08361

•[官方] Emergent Abilities of Large Language Models（Wei et al., 2022）：https://arxiv.org/abs/2206.07682

整理：2026-10-01 月绡凝 · 依据官方技术报告。