大模型本质上只是在“接龙”，为什么接出了智能？

如果你用过ChatGPT或任何一款AI对话产品，大概有过这种体验：它写得像模像样，甚至能帮你改代码、列提纲、分析数据。但你可能也听过一种说法——“大模型就是在预测下一个词”。这两件事放在一起，难免让人困惑：一个只会“猜下一个字”的系统，凭什么看起来像在思考？

这个问题的答案，恰好藏在“预测下一个词”这件事的规模效应里。

它确实在接龙，但接的是概率的龙

把大模型的工作方式拆到最底层，事情朴素得有点乏味。你输入“今天天气真”，模型要做的只有一件事：算出下一个最可能出现的字是什么。根据它训练时读过的海量文本，“好”的概率最高，于是输出“好”。然后把这个结果拼回去，继续算下一个字。

这跟手机输入法的联想功能没有本质区别。区别在于，输入法只看你前面打了几个字，而大模型会“看”你输入的整段内容，甚至包括几十轮对话之前说过的话。支撑这个能力的，是2017年谷歌提出的Transformer架构里的自注意力机制。处理每个词的时候，模型会同时扫描上下文里所有词，判断哪些跟当前这个词关系最大。比如你前面聊了半天“那家餐厅”，后面问“它人均多少”，模型能把“它”准确关联到餐厅而不是其他东西。

所以第一个问题的答案是：它确实在接龙，但它接龙时参考的上下文范围，大到足以让“接龙”看起来像“理解”。

规模跨过某个坎，事情开始不对劲

如果只是上下文看得广，大模型顶多是个高级输入法。真正让事情起变化的，是一个被反复验证过的规律：规模定律。

研究者发现，模型的性能跟三个东西呈稳定的幂律关系：参数数量、训练数据量、算力投入。任何一个持续增加，性能都会可预测地提升。于是业界做了一个简单粗暴的选择：把模型做大。GPT-3的1750亿参数在当时已经让人觉得夸张，而后续模型的参数规模早已把这个数字甩在身后。

但更有意思的事情发生在“做大”之后。当参数和数据量跨过某个临界点，模型会突然展现出训练时从未被专门教过的能力——推理、写代码、理解隐喻、做多步数学题。这种现象叫涌现。在小规模模型上，这些任务的表现接近随机乱猜；规模一过线，能力突然就出来了。

这就好比水烧到100度之前只是越来越热，到了那个点突然就开了。没人能精确解释为什么恰好是这个规模、恰好在这个任务上“开窍”，但大量实验反复确认了它会发生。

预训练教它知识，人类反馈教它做人

光靠预测下一个词，模型学到的只是“文本长什么样”。它可能在应该回答的时候继续编故事，或者在敏感话题上口无遮拦。所以还有第二步：对齐。

预训练阶段，模型读了数万亿个词元（Token，模型处理文本的最小单位），从网页、书籍、代码里学会了语法、事实和逻辑模式。这时候它像一个知识渊博但不懂规矩的怪人。接下来的指令微调，用人工标注的对话示例教它“别人问问题时该怎么回应”。再往后是基于人类反馈的强化学习：让人类给模型的多个回答打分，模型根据分数调整自己，慢慢学会输出更有用、更安全的内容。

这一步不增加知识，但决定了知识以什么方式呈现给你。

所以，它到底“懂”了吗

回到开头那个让人不安的问题。一个从统计规律里长出来的系统，表现得像懂了，算不算真的懂？

一个诚实的回答是：我们不知道“懂”在机器内部对应什么。但有一件事可以确定——它没有人类意义上的意图、感受或自我意识。它生成“我理解你的难过”这句话，是因为在训练数据里，这种语境下这句话出现的概率较高，而不是因为它感受到了什么。

但这不意味着它的能力是假的。一个能把你三小时前说过的话准确关联到当前问题、能在一篇长文档里找到矛盾之处、能写出跑得通的代码的系统，即便底层只是概率计算，它完成的事情是真实的。就像飞机没有模仿鸟的翅膀扑动，但照样飞得很好。

理解大模型最舒服的姿态，或许是把它当成一个极其擅长模式匹配的工具，而不是一个需要揣测它有没有灵魂的对象。它接龙接得足够好，好到在某些任务上确实有用。至于这算不算智能，取决于你怎么定义智能——而那个定义权，目前还在你手里。