第 03 篇 · LLaMA 4：MoE 与原生多模态
原文链接：https://mp.weixin.qq.com/s/6dPled35N15rWmTCdbIM6g
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：Meta LLaMA 家族系列第 03 篇（收尾）——LLaMA 4：架构级转向 MoE + 原生多模态。Scout 的 10M 上下文与 Maverick 的 N:M 稀疏专家。与 llm-基础理论第 04/06 篇（效率/多模态）衔接。
免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。
第 03 篇 · LLaMA 4：MoE 与原生多模态
导读
LLaMA 1-3 的哲学是「Dense 到底 + 数据翻倍」。2025 年 4 月的 LLaMA 4 来了一次架构级转向：全面拥抱 MoE（混合专家）与原生多模态——这等于 Meta 公开承认「单纯 Dense 越大，性价比越低」。LLaMA 4 = 开源阵营向「效率革命」（llm-理论 04）的集体转向中的标志性事件。
一、LLaMA 4 家族（2025-04）
1.1 双旗舰
|
|
|
|
|
|
| Scout |
|
|
10M token
|
|
| Maverick |
|
|
|
|
1.2 训练与数据
•数据：约 22T token（前代 15T 再 +47%），多语言 12 种；
•架构：原生多模态（图文交错预训练，iTPT）——图片在预训练阶段就与文本交织，而非后期拼视觉塔；
•创新点：N:M 稀疏专家 + 多模态特定门控（tGating 等）——不同模态/任务路由到不同专家。
💡 学习要点：LLaMA 4 =「MoE + 原生多模态」双转型架构从「所有参数对每个 token 全量计算」变成「每 token 只激活 17B 专家」。总参决定知识上限、激活决定单次成本——与 DeepSeek-V3（671B/37B）同一逻辑，只是 Meta 走「更大稀疏比 + 多模态路由」。
二、两个杀手级卖点
2.1 Scout 的 10M 上下文
•10M token 上下文窗口（行业当时第一）——理论可装几十本书；
•面向场景：多文档总结、海量日志分析、超长代码库检索；
•实现代价：长上下文对算力要求极高——「能用得起」仍是课题（与 Gemini 1M、DeepSeek V4 百万上下文同一战场）。
2.2 单卡可跑的「旗舰级」
•Scout int4 量化后 单张 H100 即可推理；
•意义：「旗舰级知识 + 消费级硬件」——开源模型第一次让「大模型平民化」有了可量化的数字（NVIDIA 实测 Blackwell B200 上 40K+ token/s）。
三、与 DeepSeek 的对照（效率路线）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
原生（图文交错预训练） |
|
|
|
|
|
|
|
|
|
•共同点：都押 MoE + 效率——「开源阵营的效率共识」由此坐实（Qwen3 同代也是 MoE）。
四、本篇要点（复习卡片）
1LLaMA 4 双旗舰：Scout（109B/17B，10M 上下文）/ Maverick（400B/17B，1M，多模态旗舰）。
2架构转向：Dense → MoE；原生多模态（图文交错预训练 + 模态门控）。
3数据 22T：开源数据军备竞赛继续（15T→22T）。
4杀手锏：10M 上下文（Scout）+ 单 H100 部署（int4）——旗舰平民化。
5产业意义：MoE + 多模态 = 开源对 2025 两大潮流的官方答卷（对照 DeepSeek/Qwen 同路线）。
五、系列收尾：LLaMA 四篇地图
01 LLaMA 1/2（数据质量 + 商用化）→ 02 LLaMA 3/3.1（15T 数据 + 405B 旗舰 + 蒸馏家族）
→ 03 LLaMA 4（MoE + 原生多模态）
对照理论线：数据翻倍 = llm-理论 02（缩放）；蒸馏家族 = 04（效率/蒸馏）；MoE + 多模态 = 04 + 06。LLaMA 家族 = 「开源基座」路线的完整标本——用生态（而非 API）赢得影响力，与 DeepSeek/Qwen 构成开源三极。
参考资料
•[官方] Llama 4 发布（2025-04）：https://ai.meta.com/blog/llama-4-multimodal-intelligence/
•[官方] Llama 4 Model Card：https://www.llama.com/llama4/
•[参考] NVIDIA Llama 4 推理优化实测：https://developer.nvidia.com/blog/nvidia-accelerates-inference-on-meta-llama-4-scout-and-maverick
整理：2026-10-01 月绡凝 · 依据官方技术报告。
- 点赞
- 收藏
- 关注作者
评论（0）