800B 参数的模型，为什么每次只用 40B 干活？——聊聊 MoE 稀疏架构

这周 AI 圈发布了三组有意思的数字：Meta 开源了 816B 参数的 Muse Spark Open，但每次推理只激活 42B 参数；阶跃星辰开放了 Step 5 Preview 权重，600B 总参数、每 token 只激活 27B；英伟达投资的 Reflection AI 发布 Beam，5010B 参数，每次只激活 23B。三家不约而同地指向同一个答案：大模型的参数竞赛，正在变成"激活参数"的竞赛。这背后的架构叫 MoE（Mixture of Experts，混合专家模型）。

MoE 是怎么工作的

想象一家医院：病人（token）进来，先由分诊台（门控网络，gating network）判断病情，然后只送到最对口的一两个科室（专家，expert）就诊，而不是让全院所有医生一起会诊。

形式化一点：模型里有 N 个结构相同的前馈网络（专家）。对每个 token，门控网络输出一个 N 维权重分布，只取 Top-K（通常 K=1 或 2）个专家做计算，结果按权重加权求和。剩下的 N-K 个专家这次"轮空"，不消耗算力。

核心洞察：把"知识容量"和"计算成本"解耦

传统 Dense 模型里，参数量和计算量是绑定的：模型越大，每生成一个 token 的 FLOPs 越多。MoE 打破了这个绑定——总参数决定模型的知识容量上限（能记住多少东西），激活参数决定每次推理的实际开销。

这就是为什么 Beam 敢做到 5010B 总参数：它买的是"容量"，付的却是 23B 的"算力账单"。用一个不严谨但直观的比喻：Dense 模型是每次开会全员到场，MoE 是按议题只叫相关的人。

工程上真正的坑

MoE 的想法十年前就有了（Shazeer 等，2017），真正难的是工程：

1. 负载均衡：门控网络有"偷懒"倾向——把所有 token 都路由给少数几个热门专家，其他专家闲置。训练时要加辅助损失（auxiliary loss）惩罚不均衡；推理时则要处理"专家溢出"，即 token 被丢给次优专家。
2. 通信开销：专家通常分布在不同 GPU 上，token 要在卡之间搬运（all-to-all 通信），网络带宽成了新瓶颈。这也是 MoE"训练便宜、部署贵"说法的来源之一。
3. 微调与对齐：SFT/RLHF 阶段路由分布会漂移，精心调好的负载均衡可能被打乱——MoE 模型的后训练比 Dense 更棘手。

推理经济学正在改写

MoE 最直接的红利是成本。据 Artificial Analysis 数据，Step 5 Preview 每任务成本约为 Claude Opus 5.5 的 1/6——参数量级相当甚至更大，价格却只有零头。当"智能"变成按 token 计费的商品，稀疏激活就是最硬的成本护城河。

结语

从"大力出奇迹"到"好钢用在刀刃上"，MoE 标志着大模型竞争进入下半场：不再比谁的参数多，而是比谁的路由更聪明。下一个值得看的指标，可能不是总参数，而是"激活比"——毕竟，用户为 token 付费，不为躺在硬盘里的参数付费。