工具输出压缩:上下文预算的准入规则与降级阶梯

举报
上云 发表于 2026/11/16 09:31:45 2026/11/16
【摘要】 工具返回的 JSON 和日志大部分是噪声。按字段类型设准入规则、用 L0-L3 四级降级、给历史结果分配预算,并用引用率和二次取数率自校准阈值,可以在不降低 Agent 准确率的前提下砍掉一半以上输入成本。

工具返回的 JSON 和日志,90% 的 token 从来没被模型用过。上下文膨胀和成本失控,多半不是模型窗口不够,而是回灌前的数据管道根本没有压缩环节。下面这套做法,是把“工具结果进上下文”当成一次有准入规则的数据投递来处理。

先把“体积”拆成三个能测量的量

只盯 token 总数会导致压缩得很盲目。工具返回的体积其实由三个独立来源构成,对应三种不同的处理方式:

序列化膨胀。 同一份数据用 json.dumps(indent=2) 和 json.dumps(separators=(",",":")) 输出,token 差 30%~45%。嵌套包裹层 {"code":0,"msg":"ok","data":{"list":[...]}} 里,code、msg、data、list 这些键在结构上只出现一次,但包裹本身会让模型多读一层。更严重的是 ensure_ascii=True(Python 默认):中文变成 \u5de5\u5177,一个汉字膨胀成 6 个 ASCII 字符,token 量能翻 3~5 倍。这条改一个参数就能拿到,但很多线上服务还在踩。

主键与长 ID。 19 位雪花 ID 在主流 tokenizer 里被切成 7~10 个 token。一个 100 行的列表,光 ID 字段就是 700~1000 token,而模型真正用到的通常只有 2~3 个。同理还有 UUID、trace_id、签名串。

重复前缀。 日志行 [2024-05-11T10:22:33.123Z] [INFO] [req-8f3a2b1c] ... 每行前缀 20+ token,100 行就是 2000 token 的纯噪声——时间戳和 request-id 对模型判断“哪里出错了”几乎零贡献。

对应要建立的指标是字段引用率:拿最近 200 次工具调用,把返回的字段集合与模型最终输出(或下一步动作参数)实际引用到的字段做比对,算比例。经验分档:

引用率 判断 动作
< 15% 返回严重冗余 砍字段、上 L2 摘要
15%~50% 有结构噪声 白名单投影 + 紧凑序列化
> 50% 压缩收益有限 转去优化轮次和 prompt

这个指标比直接拍一个 token 上限靠谱,因为它衡量的是“进去了但没用上”的部分,而不是总量。

准入规则:按字段类型定,而不是按总长度切

一刀切的“超过 X token 就截断”最危险的地方在于:它会把唯一那条异常记录切掉。准入应该按字段语义定:

字段类型 准入 处理方式 单字段上限
枚举 / 状态 / 布尔 是 原值 不设
数值指标 是 浮点保留 2 位 不设
时间戳 是 转 epoch 秒或相对时间 -3m 4 token
主键 / ID 是 前 8 位 + : + 哈希 4 位 8 token
短文本(名称/标题) 是 原值 64 token
长文本(描述/正文/错误信息) 条件 首句 + 尾部异常行,中间折叠 128 token
堆栈 条件 异常首行 + 最近 3 帧 + 出现次数 96 token
分页游标 / URL / 签名 否 替换为句柄 0
请求头 / 元数据 / 二进制 否 落盘 + 句柄或直接丢弃 0

配套三条硬规则,可以直接落成断言:

  • 单字段超过 512 token 不得直接入上下文,必须先过结构化摘要;
  • 数组类结果入上下文的条数取 min(20, total),且返回值里必须同时带 shown 和 total;
  • 单次工具返回占上下文的预算 ≤ min(1500 token, 窗口 × 15%)。

为什么是 20 条:模型对列表做逐项推理时,超过 20 条后基本退化成抽样,给得越多注意力越分散,准确率不一定上升。20 是个保守起点,可以用引用率回归出自己业务的值。

三级压缩阶梯:L0 直通、L1 裁剪、L2 摘要、L3 句柄

不是所有返回都值得压缩,压缩本身有信息损失和 CPU 成本。按体积分四级:

L0 直通:小于 800 token 且无数组嵌套,原样喂。别为了“统一”而压缩。

L1 结构裁剪:纯确定性操作,不调模型。白名单投影、紧凑序列化、ensure_ascii=False、数组截断、去包裹层。

L2 结构化摘要:仍然是确定性代码——计数、求和、min/max 及其对应行、分组分布、去重样本。这里的关键决策是不要用 LLM 做摘要:不可复现、会编造、且额外一次调用把省下的 token 又花回去。

L3 句柄引用:大对象落到外部存储(文件 / 对象存储 / 表),上下文只放 handle、schema 和摘要统计。模型需要细节时再调一次取数工具。

L1 + L2 的核心代码可以很短,但要包含“把离群行补回去”这一步:

import json

TOP_N = 20
TEXT_CAP = 120

def project(row, whitelist):
    out = {}
    for k, v in row.items():
        if k not in whitelist:
            continue
        if isinstance(v, str) and len(v) > TEXT_CAP:
            out[k] = v[:TEXT_CAP] + f"…[len={len(v)}]"
        else:
            out[k] = v
    return out

def compress(rows, whitelist, total=None):
    total = total if total is not None else len(rows)
    shown = [project(r, whitelist) for r in rows[:TOP_N]]

    # 截断可能吃掉唯一异常行,按数值字段把 max/min 补回来
    if total > TOP_N:
        numeric = [k for k in whitelist
                   if all(isinstance(r.get(k), (int, float)) for r in rows)]
        for k in numeric:
            for r in (max(rows, key=lambda x: x[k]),
                      min(rows, key=lambda x: x[k])):
                p = project(r, whitelist)
                if p not in shown:
                    shown.append(p)

    return {
        "rows": shown,
        "shown": len(shown),
        "total": total,
        "truncated": total > len(shown),
    }, json.dumps(shown, separators=(",", ":"), ensure_ascii=False)

L2 的输出形状要固定下来,方便下游解析和 prompt 复用:

{"n": 1240, "err_rate": 0.031, "p95_ms": 812,
 "groups": {"timeout": 21, "http_500": 17},
 "outliers": [{"id": "a3f2c9d1", "p99_ms": 9012}],
 "handle": "log://run/8821"}

预算分配:历史工具结果才是成本大头

大多数团队的压缩只做在“当次返回”上,忘了消息历史里的旧结果。成本模型是累积的:n 次工具调用、每次新增 t token,总输入约为 n·C0 + t·n(n-1)/2。也就是说第三次之后的工具结果,性价比在快速下降——它会被反复重发。

位置 预算占比 降级策略
系统提示 + 工具 schema ≤ 20% 工具描述精写,别写散文
单次工具返回 ≤ 15%,且 ≤ 1500 token L1/L2/L3 阶梯
同一轮内全部工具返回 ≤ 40% 后到的结果先走 L2
历史结果(1~2 轮前) ≤ 10% 只留结论行 + handle,丢掉 rows
历史结果(≥3 轮前) 0,只留 handle 需要时重新取数

两个实施要点:

一是写入即分级。工具返回进入消息列表之前先过一遍 router 决定 L0~L3,而不是塞进去等超限再回头裁。超限再裁意味着你已经付过一次膨胀的 token。

二是降级要有幂等句柄。把 rows 换成 handle 的前提是模型能可靠地重新取到,所以取数接口必须幂等、handle TTL 不短于会话时长,否则会退化成“模型反复请求但取不到”的死循环。

六种失败模式及其处置

失败模式 现象 根因 处置
静默截断 模型断言“共 5 条” 只给了 rows 没给 total 强制返回 shown/total/truncated 三元组
摘要吃掉异常 定位不到根因 聚合只给平均值 摘要必须带 min/max 对应行 + 计数 top 分组
幻觉补全 模型编出没给的字段 字段被删但模型不知情 显式写 _omitted: [...]
句柄失联 二次取数 404 TTL 太短 / 非幂等 TTL ≥ 会话时长,接口幂等
口径漂移 下游解析报错 用 LLM 生成摘要 摘要模板固定,确定性代码生成
压缩过度 反复取数,轮次爆炸 阈值太激进 监控二次取数率,>20% 就放松

其中两条最值得单独说:

静默截断和幻觉补全是同一件事的两面。 模型不知道数据被删了,就会用先验去补,而且补得非常自信。所以压缩不是“删掉”,是“删掉并声明”:返回结构里必须有 {"_omitted": ["description", "raw_body"], "_reason": "size"},系统提示里明确写死“标记为 omitted 的字段不可推断,需要时调用取数工具”。这一条能消掉相当一部分看似“模型能力问题”的编造。

压缩过度需要一个闭环指标。 定义二次取数率 = 因上下文不足而重复调用同源工具的次数 ÷ 总工具调用次数。低于 5% 说明还有压缩空间;高于 20% 说明压过头了——省下的 token 会被额外轮次、延迟和失败重试吃回去。比这个指标更糟的是不做度量,然后凭感觉调阈值。

最后一个容易忽略的点是 token 计数口径。用 len(text) / 4 估算中文会低估 50% 以上,因为 JSON 里的数字、符号、引号被切得很碎。经验值供参考:紧凑 JSON 里 ASCII 字符约 0.35~0.5 token/字符,中文 1.2~1.8 token/字。上线前用真实 tokenizer 采样校准一次,把系数写进配置,之后压缩前后的打点都用同一个口径。

落地建议

  1. 在工具网关层加 result_router,按体积和结构决定 L0~L3,禁止任何工具返回值直接 append 进消息列表。这是唯一能挡住全量膨胀的位置。
  2. 每个工具维护 field_whitelist 和 schema_version,白名单变更走 review。压缩逻辑一旦散落在各业务代码里,三个月后没人敢动。
  3. 打三个点:入上下文 token 数、字段引用率、二次取数率。 用它们调阈值,而不是凭感觉设一个 2000。三个指标里二次取数率最能反映“压过头”。
  4. 历史结果按轮次强制降级:1~2 轮前只留结论行,≥3 轮前只留 handle。这一条通常能直接砍掉 30%~50% 的输入成本,且不需要改任何工具实现。
  5. 所有压缩动作显式声明缺失(truncated / _omitted),并把这套标记写进系统提示的硬约束。压缩的正确姿势是“删掉且让模型知道删了”,不是“删得看不出来”。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。