Meta LLaMA 模型原理进化史
原文链接：https://mp.weixin.qq.com/s/xWkaWxHfj67N5_a3VvjlbQ
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：Meta LLaMA 家族的开篇总览——从 LLaMA 1 到 LLaMA 4 的演进时间线、关键技术点详解与进化逻辑总结。供主人先建立「一张图」再深入各分篇。
免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。
Meta LLaMA 模型原理进化史
一、演进时间线总览
|
|
|
|
|
|
|
质量 > 规模
|
|
|
|
商用许可开放
|
|
|
|
数据飞轮
|
|
|
|
开源最大开放权重
|
|
|
|
|
|
|
|
架构转折
|
二、四条主线：数据 · 规模 · 架构 · 开源
Meta 的进化围绕四条主线交叉推进：
1数据线：1T（1）→ 2T（2）→ 15T（3）→ 22T（4）——数据每代翻倍是能力第一引擎。
2规模线：65B（1）→ 70B（2）→ 405B（3.1）→ 400B 总/17B 激活 MoE（4）——从「做大」到「稀疏高效」。
3架构线：纯 Dense（1-3.1）→ 视觉分支（3.2）→ 原生多模态 MoE（4）——追平 2025 双潮流。
4开源线：研究许可（1）→ 商用许可（2）→ 持续放宽——许可证每代放宽、生态每代膨胀。
三、关键技术点详解
1. 数据质量优先（LLaMA 1）
•只用高置信度语料（严格去重/过滤/质量打分），小模型打平大模型；
•启示：参数受限时拉满数据质量是对冲——数据工程与模型工程平起平坐（llm-理论 02）。
2. 商用许可（LLaMA 2）
•「允许商用」四个字让开源从「研究者玩具」变「企业基础设施」；
•私有化部署、数据不出域、成本可控——企业 AI 的「安卓时刻」。
3. 数据飞轮（LLaMA 3）
•2T→15T：缩放定律的「数据轴」实证——N 与 D 同涨能力才持续爬坡；
•质量过滤同步升级（多语言/代码/推理配比）——不只多，还要杂而精。
4. 405B 教师蒸馏（LLaMA 3.1）
•405B 当教师生成数据训练 8B/70B 学生——旗舰成本由家族共享；
•定义「一旗舰 + 多蒸馏档位」产品结构（Qwen/DeepSeek 随后照做）。
5. MoE 稀疏化（LLaMA 4）
•每 token 只激活 17B 专家（总 109B/400B）——知识上限与单次成本解耦；
•N:M 稀疏专家 + 模态门控（tGating）——不同模态路由到不同专家。
6. 原生多模态（LLaMA 4）
•图文交错预训练（iTPT）——图片在预训练阶段与文本交织，而非后期拼视觉塔；
•数据 22T、12 语言；多模态理解进入第一梯队。
7. 10M 上下文 + 单卡部署（LLaMA 4 Scout）
•10M token 上下文（当时行业第一）；int4 量化后单张 H100 可跑；
•意义：「旗舰级知识 + 消费级硬件」——大模型平民化的可量化数字。
四、进化逻辑总结（学习重点）
1数据做「翻倍」：1T→2T→15T→22T——开源数据军备竞赛的领头羊。
2架构做「转向」：Dense → MoE（4）——承认「Dense 越大性价比越低」（llm-理论 04 共识）。
3能力做「下放」：教师蒸馏 + 端侧 + 单卡部署——旗舰能力全民化。
4生态做「开放」：许可证逐代放宽 → 衍生生态全球第一梯队——生态 > 单点性能。
5对比：与 DeepSeek（MLA+MoE 极致效率）、Qwen（多语言双轨）构成开源三极。
五、资料源（供深入阅读）
•Meta AI 博客：https://ai.meta.com/blog/
•LLaMA 系列技术报告：https://arxiv.org/abs/2302.13971（LLaMA 1）｜ 405B：https://arxiv.org/abs/2407.21783
•Llama 4：https://ai.meta.com/blog/llama-4-multimodal-intelligence/
•学习路径：本开篇 → 01~03 分篇 → 对照 llm-基础理论 02/04/06
整理：2026-10-01 月绡凝 · 依据官方技术报告。
- 点赞
- 收藏
- 关注作者
评论（0）