Agent 推理不必长篇大论：把“思考”改成选择题

多轮搜索智能体通常遵循“观察—推理—行动”的循环：先看图片或网页，再生成一段自由形式的思考，然后决定下一步是搜索、放大图片还是直接作答。苹果与卡内基梅隆大学的论文《Selection-Based Structured Reasoning》指出，这个看似自然的环节，正是小模型智能体最昂贵的隐性税。

小模型的“废话税”从何而来

研究者分析大量搜索轨迹后发现，二、四十亿参数的模型常常生成很长的推理，但对下一步行动的帮助却很有限。更关键的是，决定行动的高层逻辑高度重复：问“某场会议在哪里举办”和问“某个品牌是哪年成立的”，表面完全不同，背后却同属一类推理——实体已知、目标属性缺失，于是用实体名加目标属性去搜索。既然高层逻辑可以枚举，推理就不必每次都从空白处重新生成。

把推理改成选择题

选择式结构化推理（SSR）把推理从“生成”改写为“选择”。研究者预先定义了一个可复用的推理库，例如：实体不确定时先以图搜图识别；需要具体事实时做文本搜索；需要看清细节时裁剪或放大图像局部；证据已足够时基于证据作答；答案就在图中时直接读图；常识可答时不再调用工具。每轮模型不再逐字写思考，而是从库中选出一条，再基于它生成具体行动，比如搜索关键词或裁剪区域。于是，“为什么这么做”与“具体怎么做”被解耦：前者是可复用的策略，后者才是与当前实例绑定的执行细节。

选择本身不需要额外训练分类头。模型直接充当打分器：计算每个候选在当前上下文下的平均对数概率，归一化后采样即完成选择。这复用了基座模型已有的语义理解，也避免了为推理选择单独维护一套参数。

快，来自并行打分

效率收益来自并行化。自由推理必须自回归地逐词生成，无法跳过前面的词；候选推理都是事先写好的文本，可以用教师强制方式一次性填入，全部词元的似然在一个前向传播里算完。不同候选又共享同一份上下文键值缓存，不必为每个选项重复编码历史。于是推理环节不再产生新词元，延迟从“生成长度决定”变成“一次批量打分决定”。

论文数据需要加一个限定：它们是作者团队在七个多模态搜索基准上的自家实验结果，尚未看到独立复现。在二、四十亿参数模型上，SSR 的平均成功率与同规模领先的搜索智能体相当；每轮推理延迟下降超过九成，整道题的总推理延迟下降约三到五成。后者小于前者，恰恰说明推理只是总成本的一部分，工具调用、检索和答案生成仍占大头，不能把“推理快十倍”直接等同于“整题快十倍”。

取舍与工程启示

选择题模式的代价首先是覆盖率：推理库没有覆盖的策略，模型原则上选不出来；遇到真正新颖的任务，自由生成反而更能兜底。其次是设计成本：候选项太粗会丢失区分度，太细又会退化成模板问答。最后是可解释性：选中的一句话能说明策略方向，却未必能还原为何排除其他选项，调试时仍需结合打分分布一起看。

更合理的分工是分层：高频、结构稳定的决策用选择，低频、开放的探索保留生成。对 Agent 工程而言，第一步是统计每轮推理词元中有多少真正改变了行动；如果大量推理只是复述观察，就值得收敛成策略选项。第二步是把“策略选择”与“参数生成”拆成可观测、可回归测试的两个环节。推理的价值从来不在字数，而在它是否改变了下一步行动；当思考可以被枚举时，做选择题比长篇大论更诚实，也更便宜。