让模型"多想一会儿"：推理时扩展正在改写 Scaling Law

上周 ARC Prize 公布了一组数字：Gemini 4 Argon 在 ARC-AGI-3 上拿到 97.5% 的得分，代价是 $4.8K 的推理成本。97.5% 很亮眼，$4.8K 更值得玩味——它揭示了一个趋势：前沿模型的智能，越来越不是"训练出来"的，而是"想出来"的。这就是过去一年最热的方向之一：推理时扩展（test-time scaling）。

从"训练更大"到"想得更久"

经典 Scaling Law 讲的是训练时扩展：更多参数、更多数据、更多算力，模型就更强。但这条路正在变陡：高质量数据接近枯竭，一次千亿级训练烧掉数千万美元。于是研究者把目光转向另一端——模型已经训练好了，推理时多给它一点算力，让它多想一会儿，效果会不会更好？答案是肯定的，而且提升幅度大得惊人。

四种"多想"的办法

1. 多次采样 + 投票（Self-consistency）：让模型对同一道题生成 N 个答案，少数服从多数。简单粗暴，但在数学题上稳定有效。
2. Best-of-N + 判分器：生成 N 个候选，用一个奖励模型（verifier）打分选最优。AlphaGo 的思路在语言模型上的翻版——"生成"和"评判"解耦。
3. 过程监督与搜索：不只看最终答案，对推理的每一步打分，配合束搜索或 MCTS 在"思路树"里找最优路径。OpenAI 的 o 系列推理模型就是这条路线的产物。
4. 测试时训练（Test-time training）：更激进——推理时根据题目本身做几步梯度更新，让模型"临阵磨枪"。

为什么这招管用

直觉上，推理时扩展把"一次答对"这个极难的问题，转化成了"多次尝试 + 可靠筛选"。只要判分器比生成器便宜、比生成器准，算力花在"想"上就比花在"训"上划算。代码和数学是典型场景：跑一遍测试用例做 verifier，成本极低，信号极强。

代价：智能有了"价格标签"

ARC-AGI 的 $4.8K 就是代价的注脚。推理时扩展的矛盾很直白：延迟和成本。一道题想 10 分钟、烧掉几十美元，在科研和工程场景可以接受，在聊天机器人场景就是灾难。所以它不是万能药，而是"按需分配"的算力——简单问题秒回，难题慢慢想。未来的 API 定价很可能分层：你买的不是模型，是"思考时长"。

结语

Scaling Law 没有死，它只是换了个战场：从训练时的"大力出奇迹"，转向推理时的"好钢用在刀刃上"。有意思的是，这和昨天的 MoE 主题遥相呼应——一个是在空间上稀疏（只激活部分参数），一个是在时间上扩展（多花算力思考）。大模型的下半场，主题都是"把算力花在最值得的地方"。