LLM 基础理论发展史

本系列 00~06 不是并列，而是一条因果链：

没有 01 的注意力就没有 02 的规模化；没有 03 的对齐就没有 05 的推理可控；没有 05 的推理就没有 06 的 Agent。

1. 分布式表示（00 篇核心）

•One-Hot 无语义 → word2vec 用上下文学向量——「相似词相近」；

•思想延续：从词表规模的上下文学表示，到今天整个互联网文本的预训练。

2. Self-Attention 与多头（01 篇核心）

•Attention(Q,K,V)=softmax(QKᵀ/√d)·V：任意两位置直接相连，距离=1；

•多头 = 多个子空间视角（语法/指代/语义）；位置编码注入顺序。

3. 三大预训练范式（01 篇核心）

•ELMo（浅双向）/ BERT（深双向编码器·掩码）/ GPT（单向解码器·自回归）；

•胜者：GPT 式自回归——能生成、易规模化、可涌现。

4. 缩放定律（02 篇核心）

•loss 与参数 N / 数据 D / 算力 C 呈幂律——大即变强，且可预测；

•Kaplan（参数优先）vs Chinchilla（计算最优 1:20）——两套目标两种路线；

•涌现：跨过阈值能力突然出现——红利与风险并存。

5. RLHF 与对齐谱系（03 篇核心）

•RLHF 三步：SFT → 奖励模型 RM → PPO 强化学习；

•宪法 AI：原则条文 + AI 自我批评（RLAIF）；DPO：偏好对直接监督学习；

•合流：DeepSeek 的 GRPO（规则奖励纯 RL）——对齐与推理一体。

6. MoE / 量化 / 蒸馏 / 长上下文（04 篇核心）

•MoE：总参定上限、激活定成本（Mixtral→DeepSeek-V2/V3）；

•量化：GPTQ/AWQ/FP8——省显存提速，精度有代价；

•蒸馏：教师产数据、学生跟着学——能力下放；

•长上下文：ALiBi/RoPE/稀疏注意力/RAG——O(n²) 是第一杀手。

7. 测试时扩展与纯 RL 推理（05 篇核心）

•CoT（2022）：分步思考引导出参数里的推理能力；

•测试时扩展（o1）：推理时思考 token 越多越准；

•纯 RL（R1）：GRPO + 规则奖励，不给步骤只给判分——推理可被制造。

8. 多模态与 Agent（06 篇核心）

•CLIP：图文对比学习，跨模态语义对齐——多模态基石；

•原生多模态：从预训练就图文联合（Gemini/GPT-4o/V4）；

•Agent 三拼图：工具调用 + 规划反思 + 环境反馈循环——从「答问」到「做事」。

1表示演进：离散 → 分布式 → 上下文化 → 多模态——「怎么表示信息」是一切的地基。

2架构收敛：RNN 之争 → Transformer 一统 → 稀疏化（MoE）优化——架构稳定后拼规模与工程。

3规模与效率双轮：缩放定律（大力出奇迹）× 效率革命（用得起）——能力上限与成本解耦。

4对齐制度化：RLHF → 宪法 AI → DPO/GRPO——从「人工打分」到「规则可训练」。

5能力外延：会说话 → 会思考 → 会看会动手（Agent）——LLM 正在变成「数字员工」。

•本系列各篇参考资料（每篇末尾附论文链接）：00~06

•经典论文：Attention Is All You Need（1706.03762）/ BERT（1810.04805）/ GPT-3（2005.14165）/ InstructGPT（2203.02155）/ DPO（2305.18290）/ R1（2501.12948）

•学习路径：本开篇 → 00~06 逐篇 → 再读各家族系列（deepseek / openai-gpt / anthropic-claude / google-gemini / meta-llama / aliyun-qwen）

整理：2026-10-01 月绡凝 · 依据经典论文。