第 02 篇 · 缩放定律：为什么「更大 + 更多」会稳定变强
原文链接：https://mp.weixin.qq.com/s/PQB4SBTS2U_G3ByGgavElQ
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：LLM 基础理论发展系列第 02 篇——缩放定律与规模化。回答「为什么大力出奇迹」：Kaplan 2020 与 Chinchilla 2022 两套结论，GPT-3 的 1750 亿参数验证，以及 DeepSeek 偏模型侧的第三条路。
免责声明：本文为学习与技术分享用途，技术细节以原论文为准。
第 02 篇 · 缩放定律：为什么「更大 + 更多」会稳定变强
导读
第 01 篇确定了架构（Transformer 解码器）和范式（预训练）。但有一个朴素问题：把模型做大、数据加多，会发生什么？ 2018-2020 年的人们没有答案——直到 OpenAI 用系统实验给出了一个惊人的「工程公式」：损失随规模幂律下降。这条规律定义了今天所有大模型公司的军备竞赛路线，也是理解 DeepSeek 系列「效率至上」路线的最好参照系。
一、什么是缩放定律（Scaling Laws）
1.1 一句话
模型性能（用损失 loss 衡量）与三个量存在稳定的幂律关系：参数量 N、数据量 D、计算量 C。
loss ≈ a / N^α + b / D^β + 常数
•幂律（power law）：每翻倍参数，损失按固定比例下降——不是「越小越好」，而是「越大越好，且可预测」；
•关键在于可预测：有了公式，就能在 1/1000 规模上测出曲线，外推出千亿级模型的表现——省下巨额试错成本。
1.2 两个被「经验」取代的旧观念
|
|
|
|
|
|
|
|
|
💡 学习要点：缩放定律 = LLM 时代的「摩尔定律」深度学习之前，大家拼算法创新；缩放定律之后，数据与算力的量级本身就是能力。这是 2020 年后的行业主线。
二、两套结论：Kaplan 2020 vs Chinchilla 2022
2.1 Kaplan 2020（OpenAI）：「参数优先」
•实验对象：Transformer 语言模型，参数 7 千万 ~ 85 亿；
•核心结论：在固定算力下，模型越大越好——训练更多的步数不如把模型做得更大，数据量可以适当放宽；
•影响：行业「贪参数」——GPT-3 一口气做到 175B，LLaMA 一代也是参数至上。
2.2 Chinchilla 2022（DeepMind）：「数据与参数同比例」
•关键修正：Kaplan 的结论建立在算力受限、数据近乎无限的假设上；
•新结论：计算最优的配置是「参数与训练 token 约 1:20 同比例增长」（20 token/参数）；
•直接后果：「70B 用 1.4T token」被推翻为浪费——应该用小得多的模型（Chinchilla 70B vs Gopher 280B），用同样的算力训练更长；
•行业转向：GPT-4 一代开始「模型变小、数据变多」；LLaMA 2 也把数据提到 2T token。
2.3 为什么两套结论不矛盾
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
💡 学习要点：缩放定律也要分「目标」看想冲最强 → Kaplan 式超配参数；想商用省钱 → Chinchilla 式计算最优。DeepSeek 系列的核心叙事，就是在 Chinchilla 基础上再进一步：连数据都不全给，靠架构效率省出来（第 4 篇效率革命详讲）。
三、GPT-3：1750 亿参数的「大力出奇迹」
3.1 规模数字（2020）
•参数：1750 亿（前代 GPT-2 的 100 倍以上）；
•训练数据：约 3000 亿 token（Common Crawl + 书籍 + 维基等）；
•训练算力：数千 petaflop/s-day（当时的天文数字）。
3.2 规模带来什么
1零样本/少样本能力：不给任何微调，只靠 prompt 给几个示例（in-context learning），就能做翻译、问答、算术；
2涌现现象（emergent abilities）：某些任务在小模型上几乎为 0，跨过规模阈值后突然跳到可用水平——这是「能力涌现」最早的实证；
3暴露短板：事实错误、偏见、有害输出——为第 03 篇「对齐时代」埋下伏笔。
3.3 缩放定律的「规模陷阱」
•单纯放大有收益递减：GPT-3 的数学/推理仍弱；
•数据质量成为瓶颈：文本总量有限，垃圾数据稀释信号；
•结论：规模是必要条件，不是充分条件——之后所有改进都是「在缩放这条主线上叠加结构优化」（MoE、稀疏注意力、对齐、推理训练）。
💡 学习要点：涌现 = 缩放的红利也是风险涌现让「测试集里看不到的能力」出现——好处是惊喜，风险是不可控。这让「对齐」（第 03 篇）从道德问题变成技术必需。
四、与 DeepSeek 系列的衔接：第三条路
•DeepSeek 第一代即验证自家缩放规律：token 数并非越多越好，存在收益递减点（官方报告给出「偏模型侧」的缩放策略）；
•DeepSeek-V2 后走「架构换效率」：MLA（注意力压缩）+ MoE 稀疏化，让同样算力下参数量与能力都能更大（第 04 篇效率革命）；
•DeepSeek-R1 证明：推理能力也可以被「训练 + 规模」稳定复现（第 05 篇推理时代）。
五、本篇要点（复习卡片）
1缩放定律：loss 与参数 N / 数据 D / 算力 C 呈幂律——大即变强，且可预测。
2Kaplan 2020：算力固定下参数优先（贪参数）。
3Chinchilla 2022：计算最优 = 参数与数据 1:20 同比例（当前主流）。
4GPT-3：175B 参数实证「大力出奇迹」+ 涌现 + 少样本能力。
5规模陷阱：放大有收益递减，质量与架构同样关键。
6DeepSeek 路：在缩放主线上用架构效率（MLA/MoE）换更大能力——效率革命的引子。
六、下一篇预告
第 03 篇：对齐时代——GPT-3 会说话但不可控：胡说八道、有害、偏执。2022 年 OpenAI 的 InstructGPT 给出第一套系统解法（RLHF 人类反馈强化学习），Anthropic 用宪法 AI 走另一条路，2023 年 DPO 又把流程简化到「一步到位」。对齐是「能力」与「可用」之间的那道闸门。
参考资料
•[官方] Scaling Laws for Neural Language Models（Kaplan et al., 2020）：https://arxiv.org/abs/2001.08361
•[官方] Training Compute-Optimal Large Language Models（Chinchilla, Hoffmann et al., 2022）：https://arxiv.org/abs/2203.15556
•[官方] Language Models are Few-Shot Learners（GPT-3, Brown et al., 2020）：https://arxiv.org/abs/2005.14165
•[官方] Emergent Abilities of Large Language Models（Wei et al., 2022）：https://arxiv.org/abs/2206.07682
整理：2026-10-01 月绡凝 · 依据原论文。
- 点赞
- 收藏
- 关注作者
评论（0）