第 02 篇 · LLaMA 3 / 3.1：数据飞轮与 405B 旗舰

LLaMA 2 是「企业能用」，LLaMA 3 是「能力能打」。Meta 在 2024 年干了三件事：把数据从 2T 翻到 15T（当时开源最大语料）、把 8B 小模型做到 128K 上下文、用 405B 证明「开源旗舰 = 世界第一梯队」。并且发明了可复制的产品结构：旗舰教师 → 蒸馏学生家族。

1.1 规模数字

•模型：8B / 70B（Dense）；

•数据：15T token（LLaMA 2 的 7.5 倍，约等于 45 个 Wikipedia）；

•上下文：初版 8K → 官方后续更新至 128K；

•性能：8B 打平 LLaMA 2 70B；70B 对标当时闭源旗舰（GPT-4 级别部分基准）。

1.2 为什么数据暴涨有效

•缩放定律的「数据轴」（llm-理论 02）：N 与 D 同比例涨，能力才能持续爬坡；

•质量过滤同步升级（多语言 + 代码 + 推理语料配比）——不只多，还要杂而精；

•意义：「数据工程能力」成为 Meta 开源护城河——此后各家（Qwen/DeepSeek）也进入「数据军备竞赛」。

2.1 405B：开源史上最大开放权重

•405B 旗舰：对标当时最强闭源（GPT-4o/Claude 3.5）多数基准持平；

•多语言 + 128K 上下文 + 工具调用原生支持；

•训练：15T 高质量数据 + 后训练对齐（SFT + 偏好优化）——把闭源旗舰的完整训练管线搬到开源。

2.2 「教师蒸馏」家族结构（最重要的方法论）

•用 405B 当「教师」，生成高质量数据训练 8B/70B「学生」；

•结果：8B/70B 的小模型显著强于「自己单独练大」——旗舰的成本由家族共享；

•意义：定义「一个旗舰 + 多个蒸馏档位」的产品结构（后来 Qwen/DeepSeek 全部照做：Qwen3-Max 蒸馏家族、R1-Distill）。

•1B/3B：手机端侧可跑（语音摘要、本地助手）；

•11B/90B：视觉分支（图文理解）——LLaMA 首度多模态；

•意义：补齐「端侧 + 视觉」两块拼图，为 LLaMA 4 的原生多模态 MoE 铺路。

1LLaMA 3：15T 数据（7.5 倍）+ 8B/70B + 128K 上下文——数据飞轮启动。

2数据工程：量（15T）× 质（多语言/代码/推理配比）= 开源护城河。

3LLaMA 3.1：405B 开源旗舰 ≈ 闭源第一梯队；多语言 + 工具调用原生。

4教师蒸馏：旗舰教师 + 学生家族 = 可复制的产品结构（Qwen/DeepSeek 均跟进）。

53.2：端侧 1B/3B + 视觉 11B/90B——补齐拼图，指向下代多模态 MoE。

第 03 篇：LLaMA 4——架构级转向：放弃「一个劲儿做大的 Dense」，改用 MoE + 原生多模态。Scout（17B×16E=109B，10M 上下文）/ Maverick（17B×128E=400B，1M 上下文），单卡 H100 就能跑 Scout（int4）。LLaMA 4 = Meta 对「效率革命 + 多模态」两大 2025 潮流的官方答卷。

•[官方] Introducing Meta Llama 3（2024-04）：https://ai.meta.com/blog/meta-llama-3/

•[官方] The Llama 3 Herd of Models（405B 技术报告，2024）：https://arxiv.org/abs/2407.21783

•[官方] Llama 3.2 发布（2024-09）：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile/

整理：2026-10-01 月绡凝 · 依据官方技术报告。