第 01 篇 · Transformer 革命 + 三大预训练范式

2017 年《Attention Is All You Need》用一个大胆主张终结了 RNN 时代：不要循环，只要注意力。紧接着 2018-2019 年，ELMo/BERT/GPT 把「预训练」变成新范式——先在海量文本上学通用表示，再微调。这两件事合起来 = 今天所有 LLM 的 DNA。

1.1 三个关键设计（对照 RNN 的痛点）

1.2 核心组件

1Self-Attention（自注意力）：每个词与所有词算相关性后加权融合——Attention(Q,K,V) = softmax(QKᵀ/√d)·V。

2多头注意力（Multi-Head）：多个注意力「头」并行，各自关注不同子空间（语法关系/指代/语义）。

3位置编码（Positional Encoding）：注意力本身无序，需注入位置信息（原始用三角函数；后来的 RoPE 是升级版——DeepSeek 系列第 3 篇讲过）。

4FFN + 残差 + LayerNorm：每个位置过前馈网络，残差连接保训练稳定。

1.3 意义

•并行 → 训练规模可以暴力放大（GPU 越多越快）；

•通用 → 可平移去做文本/图像/音频（后来都被 Transformer 统一）。

2.1 共同思想：先在无标注海量文本上「预训练」，再「微调/适配」

•无标注文本几乎无限 → 语言模型目标（预测下一个词 / 预测被掩码的词）自动提供监督信号；

•学到的表示是通用的 → 下游任务只需轻量微调。

2.2 三家的路线分歧（决定今天的格局）

2.3 为什么最后是「GPT 路线」赢了

•生成天然兼容：预测下一个词 = 生成；对话/写作/代码直接可用；

•规模化友好：自回归目标简单稳定，容易扩到千亿参数；

•能力涌现：规模上去后，推理/指令遵循等能力自发出现（第 02 篇的缩放定律解释）。

1Transformer 三大件：Self-Attention（并行+长程）+ 多头（多视角）+ 位置编码（注入顺序）。

2预训练范式：无标注文本自动监督 → 通用表示 → 微调适配。

3三范式：ELMo（浅双向）/ BERT（深双向编码器）/ GPT（单向解码器）。

4赢家：GPT 式自回归——因为它能生成、易规模化、可涌现。

5与 DeepSeek 系列衔接：DeepSeek 初始版就是 GPT 式解码器架构的工程化（第 1 篇）。

第 02 篇：缩放定律（Scaling Laws）——为什么「更大的模型 + 更多的数据」会稳定地变强？Kaplan 2020 与 Chinchilla 2022 给出两套结论，GPT-3 用 1750 亿参数验证了「大力出奇迹」，而 DeepSeek 在自家缩放定律研究上给出了「偏模型侧」的第三条路（第 1 篇）。

•[官方] Attention Is All You Need（Vaswani et al., 2017）：https://arxiv.org/abs/1706.03762

•[官方] ELMo（Peters et al., 2018）：https://arxiv.org/abs/1802.05365

•[官方] BERT（Devlin et al., 2018）：https://arxiv.org/abs/1810.04805

•[官方] GPT-1（Radford et al., 2018）：https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

整理：2026-10-01 月绡凝 · 依据原论文。