智能体多轮对话的上下文压缩:该摘要时摘要,该截断时截断
【摘要】 智能体跑多轮对话时,上下文只会越攒越长。等到快触顶才处理已经晚了——要么被迫丢掉关键信息,要么一次调用就把预算烧光。我的做法是提前定好压缩规则:该摘要时摘要,该截断时截断,两者不要混着用。先说摘要。摘要适合保留‘结论’,丢掉‘过程’。比如一轮工具调用来回确认了十几次参数,最后只剩一个确定的结果:把这十几轮压成一句话——‘已确认调用参数为 X,结果为 Y’,过程细节全部不要。摘要要写在对话进行...
智能体跑多轮对话时,上下文只会越攒越长。等到快触顶才处理已经晚了——要么被迫丢掉关键信息,要么一次调用就把预算烧光。我的做法是提前定好压缩规则:该摘要时摘要,该截断时截断,两者不要混着用。
先说摘要。摘要适合保留‘结论’,丢掉‘过程’。比如一轮工具调用来回确认了十几次参数,最后只剩一个确定的结果:把这十几轮压成一句话——‘已确认调用参数为 X,结果为 Y’,过程细节全部不要。摘要要写在对话进行到一半时做,不要等到快满了才做,那时模型已经开始遗忘早期的内容,摘要质量会明显下降。
再说截断。截断适合丢掉‘已经用完的旧材料’。比如任务初期贴进去的一大段参考文档,用完之后就没用了,直接删掉比摘要更划算。但截断有一条红线:用户明确交代过的约束、已经确认的决策、还没验收的结果,这三类永远不能截断。截断前先列一张‘不能删’清单,对着清单删,才不会误删。
最后是触发时机。我给自己定了一个简单的阈值:上下文用到七成时,先做一次摘要;用到九成时,再截断已用完的旧材料。两步分开做,中间留一次检查的机会,确认摘要没丢关键信息再继续。这样对话跑得再长,也不会在半路突然失忆。
一句话总结:压缩不是等到满了再动手,而是按比例提前做——摘要留结论、截断删旧料、红线清单保住不能丢的东西。对话越长,这套规则越值钱。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)