智能体长任务的成本账:Token 花在哪里、怎么省下来
智能体跑长任务,最容易被忽略的成本不是时间,而是 Token。一次几百步的任务,上下文越滚越大,每一步都要把之前全部历史再读一遍,账单就是这样悄悄涨起来的。想省成本,先要知道钱花在哪里:输入 Token 大头通常是重复传入的历史对话和工具返回的大段原始数据,而不是模型真正用来推理的那几句话。
最有效的省钱办法是定期给上下文做摘要。任务跑到一定步数,把已经完成的部分压缩成几条要点:做完了什么、得到了什么结果、下一步要什么,旧的对话细节就可以丢掉。摘要这一步本身也要花 Token,但一次摘要能换来之后每一步都少读几千 Token,越长的任务越划算。我的做法是每完成一个子目标就做一次摘要,而不是等到上下文快爆了才动手。
工具返回结果也要瘦身。很多工具默认返回全量数据,比如查一个列表返回几百条记录,智能体其实只需要其中几条。可以在调用前就收紧参数,只取需要的字段和条数;也可以在工具和模型之间加一层过滤,把大段原始输出先提炼成结构化摘要再交给模型。少读无用信息,既省钱也让模型少分心,回答反而更准。
模型选型也可以分层。不是每一步都需要最强的模型:拆分子任务、写文件、跑格式检查这些确定性高的步骤,用轻量模型完全够用;只有真正需要判断和规划的关键步骤,才交给能力强的模型。按步骤分级用模型,整体成本能降下来不少,效果却几乎不受影响,前提是分工的边界要划清楚,关键决策不能交给弱模型。
成本控制最终要落到可观测上。给每个长任务记一笔账:总共用了多少 Token、哪几步最贵、摘要做了几次。跑几次之后就能看出规律,知道自己的任务里哪类步骤最烧钱,再有针对性地优化。省成本不是抠门,而是让智能体在预算内跑更远的路——账算清楚了,长任务才敢放心交给它。
- 点赞
- 收藏
- 关注作者
评论(0)