LoCo：教推理模型在“想多了”的那一刻收手

推理模型最贵的毛病不是算错，而是想太多。一道小学数学题，它能先验算三遍、再自我怀疑两轮，最后才给出答案。11 月 3 日挂上 arXiv 的 LoCo（《Think Less, Locally》，arXiv:2611.04814）要解决的正是这个问题：让模型在推理链内部学会“到此为止”。

过度思考是一种结构性浪费

长思维链的收益递减早已不是新闻：答案其实在中途就已经出现，后面的步骤大多是重复验证、换个说法再算一遍。更麻烦的是，推理长度直接等于成本——每多一个 token 都要走一次完整的自回归解码，还要占用 KV 缓存。对于跑 Agent 的服务来说，这意味着同样的任务要付几倍的账单，延迟也跟着翻倍。

LoCo 的做法：从自己的轨迹里找“想多了”的位置

LoCo 的训练数据完全来自模型自己生成的数学推理轨迹，不需要人工标注。它的流程分三步：首先在轨迹中定位候选的过度思考状态，也就是模型已经得出关键结论、却继续绕圈子的位置；然后把该位置之前的前缀冻结住，从这个状态出发重新生成一条更短、且经过验证的续写；最后把“原版长续写”和“新版短续写”组成一对偏好数据，用 DPO 训练。

关键在于偏好是“状态条件化”的：模型学到的不是“短答案更好”这种全局口号，而是在某个具体推理状态下，短续写比长续写更可取。这相当于在每一条岔路口都贴一张“此路可抄近道”的便签，而不是把整张地图重画一遍。

为什么“局部”比“全局惩罚长度”更有效

此前压缩推理长度的常见做法，是在奖励里直接扣长度分，或者拿整条长链和整条短链做偏好对比。这类全局信号的问题在于，它分不清“必要的长推理”和“无谓的长推理”：难题确实需要多想几步，一刀切地惩罚长度会伤及准确率。LoCo 把监督信号下沉到单个状态，只在确认“这里已经想够了”的位置教模型收手，难题该想多久还是想多久。这也是它能在压缩四成长度的同时保持甚至提升准确率的原因。

数字与可信度

在 5 个数学基准和 3 个代码生成基准上，LoCo 把生成长度压缩了 41.7%–45.4%（数学）和 23.4%–36.3%（代码），同时准确率保持或提升，并在全部代码基准上取得最好的长度–准确率权衡曲线。值得注意的是，训练只用了数学轨迹，压缩能力却迁移到了代码任务上，说明“何时停下”是一种跨任务的通用判断。

但这些数字要打折扣看：它们全部来自论文作者自己的实验，尚未有独立复现；摘要没有公布底座模型和逐基准的准确率数字，代码也只承诺“即将公开”。把它当作一个方向明确的证据，而不是已经落地的结论，更稳妥。

对工程实践的意义

如果结论站得住，LoCo 这类方法最直接的受益者是 Agent 场景：工具调用、代码生成、多步规划都依赖长推理，推理长度砍掉四成，意味着同等预算能多跑近一倍任务，或者把省下的延迟换成更多的重试与验证。对于自建推理服务的团队，它提示了一个更便宜的优化方向——与其一味换更快的硬件，不如先让模型少说废话。当然，部署前仍需在自己的任务分布上验证：数学题上“想够了”的判断，未必直接等于你的业务场景里“想够了”。