大模型发展简史：从 n-gram 到推理模型的二十年

写在前面：《AI 发展简史》把 Transformer 与大模型压成一段，《深度学习发展简史》在结尾把它指为"统一架构的曙光"。这篇就把那道曙光展开——大语言模型这二十年，是怎么从数词频的统计玩具，一步步走到今天能推理、能看图、能写代码的。

一、前传：语言模型在统计时代（1990s-2010s）

大模型的祖师爷是"语言模型"——给一句话，算它出现的概率。最早的做法很朴素：数词频。

n-gram：看"今天天气"后面跟"真"出现过几次、跟"晴"出现过几次，按频率猜下一个词。n 取 2、3、4，再大就稀疏——大多数词组合压根没在语料里出现过，概率算出来是 0。人们想尽办法平滑、回退，但本质上是在"背语料"，背不到的就不会。

转折是把词变成向量。2003 年 Bengio 提出神经语言模型：每个词先映射成一串数字（词向量），再用神经网络算概率。这一步的意义不在效果好，而在观念变了——

词不再是离散的符号，而是连续空间里的一个点。语义相近的词，点也挨得近。

2013 年 Mikolov 的 Word2Vec 把这件事做到极致，出了个著名的类比：king - man + woman ≈ queen。词向量第一次让机器"隐约懂"了词与词的关系。但那时的模型仍是一个词一个词地局部建模，没有整句的全局视野，更谈不上理解上下文。

二、Encoder 与 Decoder 的分野（2014-2017）

深度学习那段里讲过，2014 年 Seq2Seq 把序列建模拆成"编码器 + 解码器"：编码器把输入压成一个向量，解码器再展开成输出。同年的注意力机制让解码时不必全压成一个固定向量，可以"挑相关的看"。

但真正炸场的是 2017 年那篇《Attention Is All You Need》。它干了一件决绝的事——把 RNN 整个扔掉，只留注意力，起名 Transformer。自注意力让序列里所有位置直接互相看，于是能并行算，训练效率起飞。Transformer 之于序列模型，大致相当于 GPU 之于 CPU：不是快一点，是换了个时代。

随后三年，Transformer 长出三个分支：

更重要的是确立了预训练 + 微调范式：先在海量无标注文本上自监督预训练，再在下游小数据上微调。从此 NLP 任务不再各训各的，都改成"拿预训练模型来调"。BERT 那一年横扫所有榜单，Transformer 站上主航道。

三、规模法则：从 GPT-1 到 GPT-3（2018-2020）

GPT 这条 decoder-only 路线一开始不被看好——BERT 在理解任务上压它一头。但 OpenAI 押注一件事：生成里藏着通用智能，规模够大就什么都能做。

GPT-3 是分水岭。它没微调，你只在 prompt 里给几个例子，它就能翻译、写代码、做推理——这就是"涌现能力"：小模型里完全没有的能力，规模到了某个点突然出现。这件事震撼了整个领域，因为它暗示——

能力也许不是设计出来的，是规模堆出来的。

2020 年 Kaplan 等人提出 Scaling Law：损失随参数量、数据量、算力呈幂律下降，且三者要同步放大。2022 年 DeepMind 的 Chinchilla 修正了它：数据量被低估了，参数和数据应大致 1:1 放大。规模法则给了行业一张"砸钱就能变强"的路线图，也给了它一道天花板——人类高质量语料是有限的。

但 GPT-3 那年没火。它贵、不开放、只有 API，普通人用不到。能力是有了，"走进大众"还差一脚。

四、ChatGPT 时刻：RLHF 让大模型说人话（2022）

2022 年 11 月 30 日，ChatGPT 上线。两个月用户破亿——互联网史上最快。

技术上说，它用的不是 GPT-3，是 GPT-3.5，参数没多多少。真正变的是另一件事：RLHF（基于人类反馈的强化学习）。

预训练出来的模型会续写，但续写得像网上乱七八糟的文本——它不知道你想要什么样的回答。RLHF 干三件事：

1. 让人给同一问题的多个回答排序，攒出偏好数据；
2. 训一个"奖励模型"学着打分；
3. 用强化学习把大模型往高分方向调。

调完之后，模型开始"说人话"——会道歉、会分点、会拒绝不当请求、会承认不知道。这一步把大模型从"能生成"推到"能对话"，从"实验室 demo"推到"每个人的桌面"。

大模型的能力在 2020 年就到了，但让它走进大众的，是 2022 年的对齐工程。

ChatGPT 一声炮响，百模大战开始。

五、开源与百模大战（2023）

2023 年 2 月，Meta 放出 LLaMA（70 亿到 650 亿参数）。它没开源权重的"开源"，但权重很快泄露，社区一发不可收拾——单卡微调出 Alpaca（300 美元训成）、Vicuna、Chinese-Alpaca……“羊驼家族"几天内长出一堆。开源大模型这件事，从"不可能"变成"周末项目”。

同年，中国大模型集体登场：GLM、通义千问、文心一言、星火、DeepSeek……各家用预训练 + 对齐 + 中文语料做出自己的底座。再往后 Mistral、Gemma、Qwen 系列持续迭代，开源与闭源的能力差距从"代差"缩小到"半年"。

大模型从"少数大厂的游戏"变成"千帆竞发"。一个普通团队也能拿开源底座 + LoRA 微调做出自己的领域模型——这件事的深远影响，到今天还在展开。

六、多模态与扩散：不止文字（2022-）

大模型的"大"，不只是参数大，还有模态多。

扩散模型那边，2020 年 DDPM 把理论理清，2022 年 Stable Diffusion 开源放出，AI 画图一夜爆红。DALL-E、Midjourney、Sora 把"文生图""文生视频"做成普通人的日常工具。扩散和自回归是两条不同的路，但都受益于"规模 + 数据"的同一套逻辑。

多模态大模型这边，2023 年 GPT-4V 让模型能看图，Gemini 原生多模态能读视频。模型不再只吃文字，图、声、视频都能进、都能出。CLIP 把图文映射到同一向量空间，让"图搜文""文搜图"变成基础设施。

大模型正在从"语言模型"变成"通用感知与表达模型"。

这件事的意义比"会画图"深得多——它意味着模型开始拥有一个统一的、跨模态的世界表示，而不只是分别会几样技能。

七、推理与长上下文：下一道窄门（2024-）

到 2024 年，"把模型做大"这条路开始撞墙：高质量语料将尽、训练成本指数级上升、收益边际递减。行业开始往两个新方向伸手。

推理模型：2024 年 OpenAI 放出 o1，2025 年 o3。思路是把"思维链"显式化——让模型在回答前先输出一段长推理，把"快思考"（System 1）推向"慢思考"（System 2）。在数学、代码、长链推理上，o1 把同尺寸普通模型甩开一截。代价是慢、贵：一个复杂问题可能思考几千个 token。

长上下文：从早期的 4K，到 128K，再到 1M token——能一次读完整本书、整个代码库。但长上下文有"中段遗忘"：模型对开头和结尾记得清，中间容易丢。工程上靠 RoPE 外推、稀疏注意力、上下文工程（压缩、裁剪、记忆调度）来补。

大模型正在从"回答问题"走向"推理与长程任务"——这恰好是下一篇《智能体发展简史》的入口。

八、几点冷思考

大模型这二十年近乎神话，但神话底下几道阴影：

1. 规模天花板：Scaling Law 是经验律，不是物理律。人类高质量语料将尽，合成数据与自我博弈能撑多远，没人说得清；
2. 推理是新范式还是工程技巧：o1 的思维链是真"会推理"，还是把训练时的搜索过程搬到推理时显式化，学界仍有争论；
3. 开源 vs 闭源的终局：差距在缩小，但最前沿的能力仍集中在少数几家，普惠与领先如何兼得是长期课题；
4. 成本与能耗：万亿参数的训练与推理代价高昂，"人人用得起"靠的是工程优化（量化、缓存、投机解码）硬把成本压下来，不是模型本身变便宜；
5. 对齐与安全：能力越强，幻觉、操纵、误用风险越大。RLHF 解决了"说人话"，没解决"说真话"——价值对齐是比规模更难的题。

九、结语

大模型这二十年，其实就讲了两件事：

第一件，把语义变成向量，把规模变成能力。 从 n-gram 数词频，到 Transformer 让并行交给规模，再到 Scaling Law 给出"砸钱变强"的路线图——这是一条工程线。

第二件，把能力变成产品，把产品变成基础设施。 从 GPT-3 在实验室里惊艳少数人，到 RLHF 让它说人话，到开源让它进每台机器——这是一条对齐与普惠线。

两条线在 2022 年那个冬天交汇，于是所有人同时"哇"了一声。但"哇"过之后，下一道窄门已经出现——推理、长程任务、与物理世界交互。那道门后，就是智能体的故事了。

规模让大模型会说话，对齐让它说人话，推理让它会想事。下一站，是让它会做事。

本文写于 2026 年 10 月，承接《AI 发展简史》第四段与《深度学习发展简史》第七段。下一篇《智能体发展简史》将接着这道窄门往下走。