隐空间推理：当 Agent 不再把思考写出来

今天的大模型 Agent 有一个昂贵的习惯：每一步思考都要先变成文字。调用工具之前，它要先写一段分析；多轮任务下来，成千上万个推理 token 被生成、被缓存、被计费。Together AI 研究人员在 10 月 13 日提交的 HybridAgent 论文，正是冲着这个习惯来的：让 Agent 的一部分思考留在连续的隐空间里完成，只在需要调用工具或给出答案时才切换回文本。

文本推理为什么贵

自回归生成的代价不在参数量，而在逐 token 的顺序依赖。思考链越长，首 token 延迟越高，键值缓存越臃肿，并发能力越差。更关键的是，语言本身是推理的低带宽通道：一个本可用几十维向量表达的状态，被迫展开成几百个词，中间还夹杂着为了语法通顺而存在的冗余。Agent 的长时任务把这个问题放大了，因为每一步的思考都会进入下一轮的上下文，成为后续所有步骤的固定成本。

隐空间里想什么

隐空间推理的核心想法并不神秘。模型在某一层产生的隐藏状态本身就是对当前问题的一种连续表示，理论上可以直接把它作为下一步的输入，跳过“解码成词再重新编码”的往返。HybridAgent 的做法是混合式的：内部 deliberation 在隐空间中推进，遇到工具调用、需要向用户交代结果的边界时，再把状态解码为文本。这样既保留了工具生态对文本接口的依赖，又省掉了大量只给自己看的中间文字。

这种设计的关键在于切换点的选择。切得太晚，工具调用的参数可能建立在未经验证的隐状态上；切得太早，省下的 token 又被吐了回去。好的混合策略不是固定比例，而是按任务阶段动态决定：规划、自我纠错这类内部环节留在隐空间，涉及外部副作用的环节一律落回文本。

省下的不只是 token

HybridAgent 的作者在 11 项基准上报告了更少的文本 token 和更快的推理速度，但需要提醒的是：这是作者自家的测试数据，且成本估算排除了提示处理与工具调用的开销，不能直接换算成生产账单。真正的价值也不在那张基准表上，而在成本结构的变化上。如果内部推理不再按 token 计费，Agent 的“思考预算”就从显性的账单项变成了隐性的算力项，定价、限流、超时控制都要重新设计。

必须付出的代价

隐空间推理的第一笔代价是可解释性。思考链曾经是 Agent 唯一的调试界面：出错时可以回放它“想了什么”。一旦思考藏进向量，调试就退化为探针、注意力可视化这类间接手段，排障成本会上升。第二笔代价是训练难度：文本推理有海量人类语料可学，隐空间推理的监督信号要靠构造，模型容易在隐状态里走捷径，表面上步数少了，实际错误却被埋得更深。第三笔代价是生态兼容：现有的评估、护栏、日志系统几乎都假设推理过程是文本，切换意味着整条工具链要跟着改。

给工程实践的启示

对做 Agent 系统的人来说，HybridAgent 的意义不在于立刻替换现有的提示词工程，而在于提示了一个新的分层方向：把“给人看的推理”和“给自己用的推理”分开。前者保留文本以保证可审计、可干预，后者逐步向量化以降本提速。短期内更现实的落地形态是混合的：在高频、低风险的内部环节先用隐空间推理试水，把工具调用和最终答案牢牢留在文本侧；同时把评测从“答案对不对”扩展到“隐状态有没有漂移”，否则省下的 token 迟早会以线上事故的方式还回来。

Agent 的下一步进化，可能不是让它说得更多，而是让它少说一点——把思考留给自己，把行动交给世界。