RLVR 只磨刀，不铸剑：奖励训练到底教会了模型什么

DeepSeek-R1 让可验证奖励强化学习（RLVR）一夜成名：只奖励答案对错，不教解题步骤，模型的推理能力却大幅跃升。但一个根本问题始终没有定论：奖励训练到底教会了模型新的推理，还是只是让它更频繁地用上本来就会的东西？11 月 2 日发表的一篇论文给出了目前最直接的回答：磨刀，不铸剑。

两种假说之争

关于 RLVR 的效果，学界一直有两种解释。一种是"教学说"：奖励信号引导模型探索出新的解题策略，推理能力在训练中被真正创造出来。另一种是"锐化说"：基座模型在预训练里早已见过足够多的解题路径，RLVR 只是提高了它选中最优路径的概率，相当于把已有的能力打磨得更锋利。此前的研究只能对比训练前后的模型，无法看到能力是在训练的哪一步、以什么方式发生变化的。

一次开颅式实验

印度理工学院鲁尔基分校的两位作者换了一种做法：他们没有只看起点和终点，而是追踪了 Ai2 开源模型 OLMo-2-1B 在 RLVR 全程的 13 个检查点，在小学数学题集 GSM8K 上同时测量外部表现和内部表征。实验设计了两组对照：其一是采样 256 次看模型"至少能解出几道题"，以此判断能力是否本来就存在；其二是往题目里植入算术错误，再用线性探针检测模型内部能否识别这些错误，以此判断它对"什么是错的"有没有形成更清晰的内部概念。

数字说明了什么

结果相当干净。一次采样准确率从 58.0% 升至 61.3%，提升确实存在；但采样 256 次的覆盖率从 94.5% 升至 96.9%，只动了不到三个百分点。这意味着绝大多数题目模型本来就能解出来，RLVR 只是让它第一次尝试就选对路线的概率变高了。更关键的是内部探针：三类植入错误的检测分数在 13 个检查点之间几乎纹丝不动，始终停留在 0.798 至 0.840 之间，波动小于置信区间，模型对推理错误的内部认知没有变敏锐。唯一出现真实变化的地方是答案前的最后一个词元：区分早期与晚期检查点的探针在那里达到 0.93，而在真正的推理步骤上却近乎随机猜测。也就是说，改变发生的不是"怎么想"，而是"何时收口、如何落子"。

先别急着下结论

这项研究也有边界需要说明。首先，这 13 个检查点属于第二轮 RLVR，起点已经是经过一轮奖励训练的模型；相对于完全未经奖励训练的基座，准确率从 51.8% 起步，更大的涨幅其实发生在第一轮。独立复现者也指出，覆盖率的提升按题量折算只有三道题左右，样本量有限。其次，实验对象是 10 亿参数的小模型和单一数学任务，结论能否推广到千亿级模型和开放式推理，仍需更大规模的验证。论文发表于研讨会而非正式审稿，证据强度应按此打折。

对工程实践的启示

即便如此，这项研究的指向对做模型训练和 Agent 工程的人都很实在。第一，RLVR 的收益上限由基座模型的能力天花板决定，想获得模型本来不会的新能力，预训练、监督微调和蒸馏才是主战场，奖励训练只能排在最后做打磨。第二，评估推理模型时只看单次准确率会低估能力边界，同时报告多次采样覆盖率才能看清模型真正的会与不会。第三，对 Agent 而言同样如此：奖励可以筛选出更好的工具调用和规划行为，却造不出基座模型没有的技能，能力建设的预算应该优先投向数据和基座。磨刀很重要，但刀刃的钢材，早在预训练时就定型了。

参考：Bangera 与 Gupta，arXiv:2611.02574，2026 年 11 月 2 日；文中数据为论文作者及独立复现者的测量结果，复现分析见 Novel Cognition。