第 04 篇 · 效率革命：让大模型「用得起」
原文链接：https://mp.weixin.qq.com/s/KjitBxrCtq36HZjvFNKd_w
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：LLM 基础理论发展系列第 04 篇——效率革命。对齐让模型「乖」，但千亿参数推理太贵。本篇讲四件武器：MoE 稀疏化、量化压缩、蒸馏、长上下文工程——以及 DeepSeek-V2/V3 如何成为这场革命的集大成者。免责声明：本文为学习与技术分享用途，技术细节以原论文为准。
第 04 篇 · 效率革命：让大模型「用得起」
导读
第 02 篇说「越大越强」，第 03 篇说「越乖越好」——但有个现实问题：钱。1750 亿参数每回答一次都要点亮一整块 A100 集群。2021 年起，行业从「无脑做大」转向「同样的能力，更少的算力」：MoE 让大部分参数闲置、量化让权重瘦身、蒸馏让小学徒继承大师功力、长上下文让一次装下整本书。DeepSeek 系列的主线剧情，就是这场效率革命。 读懂本篇，就读懂 DeepSeek 为什么能「白菜价」。
一、MoE（混合专家）：稀疏化的力量
1.1 核心思想
不是每个 token 都需要所有参数。MoE（Mixture of Experts）把 FFN 层拆成 N 个「专家」，每个 token 只激活其中 K 个（K≪N）：
总参数量 = N 个专家（大而全）
单次计算 = 只过 K 个专家（小而快）
1.2 关键论文与产品
|
|
|
| Switch Transformer
|
|
| Mixtral
|
|
| DeepSeek-V2
|
MLA + 240 专家 + 细粒度路由
|
| DeepSeek-V3
|
|
1.3 MoE 的代价
•通信开销：专家可能分散在多卡，需要 all-to-all 通信；
•负载不均衡：热门专家被挤爆——需要负载均衡损失；
•路由质量：路由器选错专家会掉性能（DeepSeek 用细粒度 + 无辅助损失均衡应对）。
💡 学习要点：MoE =「藏书很多，一次只翻几本」总参数量决定「知识上限」，激活参数决定「单次成本」。省钱的关键不是少藏书，而是少翻书。 DeepSeek 系列反复强调「激活参数」就是此意。
二、量化：给权重「瘦身」
2.1 思想
权重本来存 16/32 位浮点，量化成 8/4/2 位整数——精度略降，显存与带宽大减，推理提速。
16 位（2 字节）× 100B 参数 ≈ 200GB 显存（一块卡装不下）
4 位（0.5 字节）× 100B 参数 ≈ 50GB（两张卡搞定）
2.2 关键方法
|
|
|
| GPTQ
|
|
| AWQ
|
|
|
|
|
| FP8 训练
|
|
2.3 意义
•推理成本降一个量级 → 端侧/私有大模型成为可能；
•但量化损失不可逆：位数越低，越可能「掉智商」——所以量化是工程权衡不是免费午餐。
💡 学习要点：量化 =「压缩包」哲学与图片压缩同构：肉眼（模型能力）看不出差别时，尽量压。量化 + MoE 双管齐下，是 2024 年后「百亿级模型平民化」的底层原因。
三、蒸馏：让小学徒继承大师
3.1 思想
大模型（教师）生成高质量数据（或概率分布），小模型（学生）照着学——能力下放，成本陡降。
•经典形式：学生学教师的软标签（概率分布，含「不确定度」信息）比学硬标签更好；
•今日主流：教师模型批量产「指令-回答-推理过程」数据 → 小模型 SFT（如许多开源小模型都靠 GPT-4/Claude 蒸馏数据训练）。
3.2 边界与争议
•蒸馏只能「继承已表现出的能力」，不能创造新能力；
•「用数据蒸馏」与「直接抄」的伦理/版权争议（行业持续争论中）。
💡 学习要点：蒸馏 =「老师带徒弟」小模型打不过大模型，但大模型足够便宜地教出「够用」的小模型——这是开源社区把小模型玩出花的秘诀。
四、长上下文：让模型「一次读完一本书」
4.1 为什么长上下文难
自注意力是 O(n²)：token 数翻倍，计算量翻 4 倍——长度是效率的第一杀手。
4.2 工程方案演进
|
|
|
|
| ALiBi
|
|
|
| RoPE
|
|
|
| 稀疏/滑窗注意力 |
|
|
| 无限注意力/检索增强 |
|
|
4.3 意义
•上下文从 2K → 32K → 128K → 1M：「喂给模型的东西」本身就是算力成本，长上下文 = 更大的应用面（读代码库、长文档、Agent 记忆）；
•DeepSeek-V4 一代做到百万级上下文 + 多模态（其家族系列第 8 篇详讲）。
💡 学习要点：长上下文 =「内存管理」问题人类不会把整本书背进大脑，而是翻到哪页读哪页——稀疏注意力/检索就是在教模型「翻书」而不是「背书」。
五、效率革命的合流：DeepSeek 为什么便宜
•MoE：总参 671B、激活 37B——知识上限高、单次成本低；
•MLA：把 KV 缓存压到 1/16，长上下文不再「爆炸」；
•FP8 训练 + 无辅助损失均衡：训练省显存、路由更稳；
•蒸馏 + 推理训练：R1 蒸馏出小模型系列，白菜价「继承」推理能力。
结论：效率不是技术细节，而是商业模式——谁把「同样能力」做便宜，谁就能规模化商用。这是理解 DeepSeek 全系列的第一性视角。
六、本篇要点（复习卡片）
1MoE：总参数决定上限、激活参数决定成本；Switch→Mixtral→DeepSeek-V2/V3。
2量化：GPTQ/AWQ 推理压缩、FP8 训练压缩——省显存提速，精度有代价。
3蒸馏：教师产数据、学生照着学——能力下放、成本陡降，但无创造力。
4长上下文：O(n²) 是敌人；ALiBi/RoPE/稀疏注意力/RAG 是武器。
5合流：MoE+量化+蒸馏+长上下文 = DeepSeek 成本优势的完整拼图。
七、下一篇预告
第 05 篇：推理时代——效率让模型「用得起」，对齐让模型「信得过」，但 GPT-3 时代的「算不对 9×9」问题还在。2022 年 Chain-of-Thought 发现「让模型一步步想」，2024 年 o1 把「想」变成可训练能力（测试时扩展），2025 年 DeepSeek-R1 证明纯强化学习就能涌现推理。这是从「会说话」到「会思考」的分水岭。
参考资料
•[官方] Switch Transformers（Fedus et al., 2021）：https://arxiv.org/abs/2101.03961
•[官方] GPTQ（Frantar et al., 2022）：https://arxiv.org/abs/2210.17323
•[官方] AWQ（Lin et al., 2023）：https://arxiv.org/abs/2306.00978
•[官方] RoPE（Su et al., 2021）：https://arxiv.org/abs/2104.09864
•[官方] Train Short, Test Long: ALiBi（Press et al., 2021）：https://arxiv.org/abs/2108.12409
•[参考] Mixtral of Experts（Mistral，2023）：https://arxiv.org/abs/2401.04088
整理：2026-10-01 月绡凝 · 依据原论文。
- 点赞
- 收藏
- 关注作者
评论（0）