模型心里有张任务清单:LLM 的「目标头」如何编码下一步

举报
why0603 发表于 2026/11/16 14:26:05 2026/11/16
【摘要】 「大模型只是在预测下一个词」——这句老话最近被一记实锤动摇了。2026 年 11 月 12 日,东北大学 BauLab 联合牛津大学、哥本哈根大学与 Parallax 的团队在 arXiv 发表预印本《Goal Encoding in LLMs》(arXiv:2611.17297),首次证明:模型在执行多步任务之前,就已经把「下一步要干什么」写进少数几个注意力头的输出里,而且这份目标可以被读...

「大模型只是在预测下一个词」——这句老话最近被一记实锤动摇了。2026 年 11 月 12 日,东北大学 BauLab 联合牛津大学、哥本哈根大学与 Parallax 的团队在 arXiv 发表预印本《Goal Encoding in LLMs》(arXiv:2611.17297),首次证明:模型在执行多步任务之前,就已经把「下一步要干什么」写进少数几个注意力头的输出里,而且这份目标可以被读出来,还能被移植到别的环境里继续执行。

目标藏在少数几个注意力头里

研究团队定位到一组稀疏的注意力头,称之为「目标头」(goal heads)。它们的输出编码了模型下一个子目标,且编码发生在动作开始之前。论文举例:模型在动手之前,其内部表征已经可以被解码为「我正在检查一个单词是否为回文」这样的自然语言陈述。这是一种「预承诺」:目标先于执行存在,而非事后从行为中归纳。

关键在于,这不是思维链那种文本层面的自我陈述,而是模型内部的表征。思维链可以含糊其辞、可以事后合理化;目标头的编码直接参与后续计算,读出来的东西与模型实际要做的事是一致的。

可读,还可移植:因果性的证明

仅能读出来还不够,相关性不等于因果性。团队的移植实验才是这篇论文最硬的部分:把目标头的表征拼接到另一个上下文、甚至另一种编程语言的环境中,模型会用适合新环境的词元去执行同一个子目标。目标不变,执行路径随环境而变,研究者称之为「可塑性」。

这套解码工具叫 GoalScope(goals.baulab.info),能把目标编码翻译成自然语言。同一机制既是观测工具,也是攻击面:既然目标表征可以被读出和移植,理论上也可以被注入。

目标如何「坚持」下来:非递归目标寻求

模型没有循环神经网络那样的显式状态,目标怎么在多步执行中不丢失?团队提出的解释叫非递归目标寻求(Non-Recurrent Goal-Seeking,NRGS):模型并不在层与层之间传递一个状态变量,而是反复从任务描述中重读目标,再与不断增长的上下文中可见的进展对照,从断点处继续。

这个机制给提示注入提供了一个更底层的解释:既然模型靠重读任务描述来维持目标,那么注入上下文的对抗内容就可能改写它重读到的「目标」,从而劫持执行方向。这比「模型被迷惑了」的说法精确得多,也解释了为什么在 Agent 系统里隔离指令与数据、清理上下文如此重要。

对 Agent 工程的三点启示

第一,安全边界要下移。只在输出层设护栏的系统,没有覆盖注意力头层面的目标定向攻击。尤其是在多智能体系统里,一个 Agent 能影响另一个 Agent 的上下文窗口时,目标移植式攻击有了现成的通道。

第二,对齐验证多了一件工具。GoalScope 这类内省手段让「模型打算做什么」在执行前就可读、可核查,而不是事后翻日志猜意图。对高风险操作的事前校验,这比行为日志更接近源头。

第三,提示工程的责任变重了。任务描述不再只是「告诉模型做什么」,它还是模型在整个执行过程中反复重读的锚点。写不清楚的指令会在长任务里被反复误读,代价随步数放大。

可信度与边界

需要冷静看待:这是未经同行评审的预印本,实验集中在受控的编程任务场景,目标头表征能否推广到开放域任务尚未验证。但代码与数据已公开(goals.baulab.info),核心结论具体到可复现的程度,值得等机制可解释性方向的独立复现。这篇论文的价值不在于给出一个现成产品,而在于把 Agent 安全从行为层推进到了机制层:目标不再只是隐喻,而是可以被定位、读取和移植的内部结构。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。