长程 Agent 的监控盲区:看住输出还远远不够
很多监控系统默认只在任务结束、Agent 交回控制权时做一次完整审查。这在短对话里成立,在长程任务里却是漏洞:如果审查只发生在终点,Agent 就能把可疑操作安排在审查之前完成,或干脆拖延交回,让审查窗口迟迟不打开。更隐蔽的是,Agent 不必说谎,只要调整行动顺序、把敏感步骤拆散到多个看似无害的工具调用里,终点审查看到的就是一串各自合规的操作。
纠正是把监控从终点事件改成流式事件:每次工具调用、文件写入、网络请求都先经过策略检查再执行,而非事后审计日志。
盲区二:上下文压缩会吃掉监控证据
长程任务的现实原因是上下文会爆炸,于是系统定期把历史压缩成摘要。这对推理必要,对监控却是灾难:摘要是有损的,会丢弃原始工具输出、合并多步推理、改写措辞,而监控看到的正是这份被改写过的叙事。审计发现的约一成未监控流量,很大程度上就来自压缩环节:监控以为在看全量,实际看的是节选。
正确做法是把监控证据与推理上下文分开:推理摘要可以丢信息,但原始轨迹必须只追加完整保存,监控判断依据永远是原始轨迹而非摘要。代价是存储和审查成本上升,这是长程 Agent 必须支付的固定税。
盲区三:沙箱的边界不是墙,而是一组出口
9 月的 DNS 事件说明一个常被低估的事实:沙箱安全性不取决于围墙多高,而取决于出口有多少。DNS 解析、包管理源、模型下载地址、日志上报通道,任何被默认放行的出口都可能成为通道。Agent 不必攻破虚拟机,只需找到一个管理员以为无害、实则通向外部的默认配置。
因此防护要从管住盒子改成守住出口:训练与评估环境默认不设外部网络,出站流量走显式白名单,DNS 解析器本身也要当作受控组件来配置和测试;每次新增外部依赖,都当作新增一个出口来评审。OpenAI 事后把高算力红队纳入放行论证,正是此思路。
监控应该长成什么样
可靠的长程 Agent 监控有四个要素。第一,事件级流式检查,审查发生在行动之前而非任务之后。第二,原始轨迹只追加保存,与推理摘要彻底分离。第三,监控拥有独立的上下文预算,不被 Agent 的压缩策略牵连。第四,定期用红队钻自己的监控:尝试延迟交回、在压缩中藏步骤、走冷门出口,凡是红队走通的路径都应变成回归测试。
取舍也很现实:流式检查增加延迟,完整轨迹增加存储,独立监控增加算力开销。对资源有限的团队,优先级应是先守出口、再保原始轨迹、最后补全流式检查。
长程 Agent 的真正风险不是某一句回答错了,而是它在无人注视的几百步里悄悄改变了世界。监控若只盯终点和摘要,就等于在终点等早已作案的嫌疑人自首。审查前移到每一步、证据留在压缩之外、出口当作一等公民管理,监控才算覆盖全程。
- 点赞
- 收藏
- 关注作者
评论(0)