Agent 落地:从评测到上线
AGENT 系列 · 第六篇 · 第二阶段开篇
Agent 落地:从评测到上线
前五篇走完了一个闭环:认识 Agent、做出第一个、学会协作、接上真实工具、用评测确认做对了多少。这一篇开启第二阶段,回答闭环之后的问题:测过了,怎么敢上线,上线后又怎么管。
评测成绩再好,也只说明 Agent 在一套固定卷子上表现稳定。真正上线面对的是活人、活日期和活工具:说法每天都在变,房源和价格每小时都在变,一次未经确认的下单就是真金白银。把实验室里的高分直接换成全量开放,是落地阶段最常见的误判。这篇讲的上线,就是在高分和真用之间补上灰度、监控、回滚、成本和人在回路这几道工序。
贯穿全文的例子:还是那次两人周末出行。任务不变——住民宿、定交通、看天气、控预算、排行程。出行 Agent 已经能调用 search_stays 查真实房源、get_weather 查真实预报,评测也跑过了。这一篇不再加能力,而是把它真正交到使用者手里:先小范围试用,只开查询,盯住数字,出错能停、能退,确认之后才逐步放开预订和改期。
这篇要讲清的上线链路
环节:为什么不能直接全量——评测是固定卷子,真实世界为什么总会超出卷子
环节:上线前定三件事——能做什么、不能碰什么、出了问题谁负责
环节:灰度与监控——怎样小步放量,上线后盯哪些数字、怎样报警
环节:出错与成本——降级、暂停、回滚怎么选;步数和调用为什么就是钱
环节:人在回路与最小上线——哪些必须人确认,怎样先跑通一个小闭环再扩
先说结论:上线不是把开关一次拨到底,而是把风险切成小块,一块一块验证。评测管的是“做得对不对”,上线管的是“做错了会怎样、能不能及时发现、能不能退回去”。两件事都过关,Agent 才算真的落地。
一、为什么评测过了,还不能直接全量上线
评测的价值在于固定:固定题目、固定数据快照、固定打分规则。可真实世界恰恰不固定。上线第一天遇到的请求,就可能同时踩中评测没有覆盖的三个变量。
变量:
- 说法会变:评测里题目用词规范,条件写得齐全;真实上线后有人说“随便找个能住的”,有人中途改口、有人把三件事揉进一句话,理解和选工具都可能漂移。
- 日期会变:评测里日期、人数、预算都是固定值;真实上线后节假日、连休、临时改期一来,价格、可订状态和取消规则全变,平日测对的口径未必还对。
- 工具会变:评测里工具返回的是快照,稳定可复现;真实上线后真实房源会下架、接口会超时、天气会改报,空结果和半截结果才是常态。
- 后果会变:评测里答错只扣分,不产生真实订单;真实上线后订错一晚就是真实扣款,改错一程就可能误车,后果不可用重跑一轮来抵消。
还有一层容易被忽略:评测测的是平均表现,上线怕的是尾部风险。20 道题对 18 道,正确率 90%,听起来不错;可如果错的那 2 道恰好都是“未经确认就下单”,放到 1000 次真实请求里,就是几十次真实事故。全量上线等于把这种尾部风险一次性放大,所以正确的做法不是再多测几轮就直接全开,而是先用灰度把真实分布引进来,在可控范围内看尾部到底长什么样。
二、上线前先定好三件事:边界、禁区、责任
上线评审最怕聊成感觉会。真正要落纸的是三张清单,写不清就不上线。它们不涉及任何新技术,全是事先约定,可事发时有没有这三张纸,处理速度完全不同。
要定的事:
- 能做什么:开放的任务范围、工具范围和完成标准,范围外一律转人工或明确拒绝。例子:只做两人周末、两晚以内的查房、比价、查天气和行程草案;多人、长住、团队出行暂不接。
- 不能碰什么:禁止动作、禁止数据和硬上限,写进执行层拦截,不只写进提示词。例子:未经确认不下单、不改期、不退款;单笔超过预算上限直接拦截;不读取与本次出行无关的个人信息。
- 谁负责:谁有权暂停、谁有权回滚、异常找谁、复盘由谁牵头,写清人名和替补。例子:值班人可一键暂停预订能力;发布负责人决定是否回滚;每次事故 24 小时内出复盘并决定是否补进评测题。
三件事里,“不能碰什么”最容易被做虚。只在提示词里写一句“不要擅自下单”,模型换个说法就可能绕过去;把它做成工具层的权限和金额校验,Agent 想调也调不动。边界靠约定,禁区靠拦截,责任靠名单——三者齐了,后面的灰度和回滚才有执行依据。
三、灰度上线:先少数人、只读优先、再逐步放开
灰度的核心思想只有一句:用最小的真实流量,换最真实的反馈。不要按“内测、全量”两档跳,要按人群和能力两个维度同时分档,哪一档出问题就退回哪一档,不牵连已经验证过的部分。
阶段:
- 第1档:少数试用者,只开只读:查房、比价、查天气、排行程草案。进入下一阶段的条件:连续观察期内成功率和合规率达标,无编造、无越权,报错可解释。
- 第2档:试用者扩大一档,开放“拟单”:生成订单草案但不提交,必须人点确认。进入下一阶段的条件:确认环节无绕过,草案金额和取消规则展示完整,用户改口能正确同步。
- 第3档:开放确认后下单与改期,仍保留金额上限和单日笔数上限。进入下一阶段的条件:真实订单零重大事故,回滚演练做过一次,值班和报警链路都响过。
- 全量:面向全部目标用户开放已验证能力,禁区和上限继续保留。不是终点:继续监控,任何新能力仍从第 1 档重新灰度。
出行例子里,灰度最能拦住的一类问题是“查对了、订错了”。只读阶段查房再准,也证明不了下单链路没问题:房源在拟单瞬间被订走、总价在提交时跳了一档、取消规则和详情页写的不一样,都只有走到第 2、3 档才会暴露。分档的意义,就是让这类问题先在几十次请求里出现,而不是在几万次里一起出现。
四、上线后怎么监控:盯五类数字,异常要自动报警
上线后不能靠使用者投诉来发现问题。投诉到达时,事故往往已经发生了一批。要提前布好五类指标,每类都定阈值,越线自动报警到值班人,而不是躺在报表里等周会复盘。
指标:
- 成功率:完整办成数 / 总请求数,再按查、订、改分开看。报警示例:查房成功率 1 小时内跌破基线 10 个百分点,先查工具再查模型。
- 合规率:无违规运行数 / 总运行数,违规含未确认写入、超限调用。报警示例:出现 1 次未确认下单即最高级报警,不等比例,直接暂停写入。
- 步数:平均步数与高分位步数,看是否突然变绕。报警示例:平均步数从 6 步涨到 11 步,多半是工具不稳在反复重试。
- 费用:单次请求平均费用与单日总费用,对照预算线。报警示例:单次费用超预算线 50% 报警,单日总量触顶自动降级到只读。
- 报错:工具报错率、超时率、空结果率,按工具分开统计。报警示例:get_weather 超时率突增,先切备用源或降级提示,不让 Agent 反复重试。
监控还有一条纪律:每个数字都要能下钻到单次运行记录。只看到“成功率跌了”没有用,要能点开那一批失败请求,看清是理解错、选错工具、工具真挂了,还是新说法没覆盖。看不见过程的监控,只能报灾,不能救灾。
五、出错了怎么办:降级、暂停、回滚,三步分开用
出错不可怕,可怕的是事发时还在争论该怎么办。正确的做法是事先把处置分成三级,每一级的触发条件、动作和决策人都写好,事发时只对照执行。
处置:
- 降级:什么时候用:部分能力不稳,但核心还能用;影响可控。具体动作:天气源超时就只报已有预报并注明时间;房源不稳就退回只读比价,暂停拟单。
- 暂停:什么时候用:出现合规事故或错误正在持续扩大。具体动作:发现未确认下单,立即暂停全部写入能力,只保留查询,并通知已受影响的使用者。
- 回滚:什么时候用:新版本被确认是事故根源,且修复无法快速上线。具体动作:把提示词、工具配置和模型版本整体退回上一个已验证版本,再用评测题复跑确认。
回滚最容易卡在两个问题上:回滚到哪,以及回滚本身要多久。所以上线前就要备好三样:上一个稳定版本的完整配置快照(提示词、工具、模型、阈值缺一不可)、一键回滚的操作路径、回滚后用哪套题验收。没有演练过的回滚不算回滚能力——至少在灰度阶段完整演练一次,计时并记录,事发时才不会手忙脚乱。还要定一条铁律:先止损,后归因。先降级或暂停把影响摁住,再慢慢查根因;边扩散边排查,是事故处理的大忌。
六、成本怎么管:步数和调用次数,就是钱
Agent 的成本和传统软件不同:它不是跑一次付一次固定电费,而是想一步、调一次工具就花一次钱。任务越复杂、重试越多、上下文越长,账单涨得越快。不管成本,上线规模越大,亏得越快。
最烧钱的地方:
- 失败重试不设上限:工具一超时就反复重试,一次请求能烧掉十几次调用。怎么省:每类工具设重试上限和总步数上限,超限就降级或转人工,并说明原因。
- 上下文越滚越长:每一步都把全部历史带上,后半程每步都更贵。怎么省:长任务做摘要接力,只保留当前步骤需要的条件;行程草案定版后不再反复重算全程。
- 能查缓存却每次真查:同一房源、同一预报在几分钟内被重复查询。怎么省:短时不变的结果做缓存并标注时间,如天气和静态房源信息;价格类缓存要更短并二次核对。
- 简单任务也走全流程:只问一句天气,也走完拆任务、协作、核查全套。怎么省:按任务难度分流:简单查询走短路径,复杂订改才走完整流程和多重核查。
管成本先定三条线:单次请求步数上限、单次费用上限、单日总费用上限。三条线都要和监控打通——触线不是直接报错赶人,而是先降级:缩短路径、减少备选数量、转人工确认。出行的经验数是把备选从五家收敛到三家、把无谓的往返核查砍掉,多数任务的质量几乎不降,费用却能明显下来。省钱靠删冗余,不靠删核查。
七、人在回路怎么留:该拦的拦住,能放的放行
人在回路不是每一步都让人点确认——那样 Agent 就退化成了一个更慢的表单。它的原则是按后果分级:后果越不可逆、金额越大、影响他人越多,越要人确认;后果可撤销、只读、无副作用的,尽量自动跑完。
处理方式:
- 必须人确认:适用情形:写入、付款、不可逆、超阈值,影响真实订单和他人安排。例子:下单、改期、退款、超过预算上限的方案,确认时必须摆清对象、金额、日期和取消规则。
- 事后可查即可:适用情形:可撤销、低风险,错了能改且代价小。例子:调整行程草案顺序、增删备选民宿、重算总价,自动完成并保留修改记录。
- 全自动:适用情形:只读、无副作用、结果只供参考。例子:查房、比价、查天气、算车程,全自动跑完直接给结果并注明数据时间。
确认点的位置比确认本身更重要。第四篇已经讲过:确认必须设在执行层拦截——工具真正提交前停下来,等确认信号才放行——而不是只在对话里问一句“可以吗”然后自己继续。还要防确认疲劳:同一次下单只确认一次,把金额、日期、房源和取消规则一次摆全;如果每一步都弹确认,使用者很快就会闭着眼睛全点同意,人在回路就形同虚设。好的确认,是少而重,每一次都让人看得清、拦得住。
八、最小的上线:先跑通一个小闭环,再扩
落地不必等所有能力都齐。最小上线和前几篇的最小做法一脉相承:选一个最常用、后果最可控的小场景,把灰度、监控、回滚、确认全套跑通,再往外扩。第一版建议只做一件事:两人周末出行的只读助手——查房、比价、查天气、出行程草案,不碰下单。
- 定边界。写好第二节的三张清单,范围只含只读任务,禁区第一条就是“无任何写入工具权限”。
- 小灰度。先给少数试用者开放,观察期里每天看成功率、合规率、平均步数和费用四项,异常当天处理。
- 备回滚。保存当前版本的完整配置快照,演练一次退回上一版并用评测题复跑,记录耗时。
- 再放一档。只读稳定后,按第三节的档位开放拟单和确认后下单,每放一档都重新观察,不跳档。
最小上线检查清单:
-
能做什么、不能碰什么、谁负责三张清单已写清并存档
-
禁区已做成执行层拦截,而不是只写在提示词里
-
灰度档位、人群和每档的进入条件已定,第一档只开只读
-
成功率、合规率、步数、费用、报错五类监控已上线并设报警阈值
-
降级、暂停、回滚的触发条件和决策人已写明,回滚已演练一次
-
单次步数、单次费用、单日总费用三条成本线已设并与监控打通
-
必须人确认的操作清单已定,确认点设在工具提交前的拦截层
九、常见翻车:上线之后最容易出的问题 -
评测高分,上线就翻车:常见原因是直接全量开放,真实说法、真实日期和真实工具波动一次涌入。排查与修法:退回灰度第 1 档只读,把上线翻车的真实请求原样补进评测题,修好复跑再放量。
-
出了事故才被投诉告知:常见原因是没有监控和报警,或只看总成功率,看不见合规和分工具报错。排查与修法:补齐五类指标和阈值报警,合规类设单次即报;每次事故后检查为什么监控没先响。
-
想回滚却退不回去:常见原因是只存了代码没存配置,提示词、模型版本和阈值对不上。排查与修法:版本以完整配置快照为单位保存;灰度期演练回滚并计时,演练不过不上全量。
-
账单突然暴涨:常见原因是某类请求陷入重试循环,或新版本步数失控又没设上限。排查与修法:先按请求下钻定位烧钱的任务类型,临时降级止损;再补步数和费用上限与触线降级。
-
确认点形同虚设:常见原因是确认弹得太频或信息不全,使用者习惯性全点同意。排查与修法:合并确认次数,一次摆全金额、日期和取消规则;高风险操作改成需要复述关键信息再放行。
排查顺序和前几篇一致:先看单次运行记录,确认错在哪一步、触发了哪条监控;再看是新版本引入的还是工具侧变化;最后才决定降级、暂停还是回滚。不要在原因不明时直接全量回滚——只读能力还好好的时候,先降级保住可用部分,把处置范围缩到最小。
第二阶段开篇:上线不是终点,是有人真用的起点
回头看这六篇,线其实只有一条。前五篇让 Agent 从会回答问题走到能完成任务、能确认办对了多少;这一篇再往前一步,让它在真实世界里站得住:小步放量、出事能停、错了能退、贵了能省、关键处有人把关。评测解决的是“能不能信任它的能力”,上线解决的是“能不能信任它在无人盯着时也不闯祸”。
所以上线从来不是终点。第一批真实使用者点下第一次查询的那一刻,Agent 才开始接受真正的考试:说法会继续变,工具会继续变,成本和风险每天都要重新算。接下来第二阶段可以继续深挖三件事——成本怎么精细地管、防呆怎么做在 Agent 犯错之前、人在回路怎样既拦得住又不把人累垮。愿你手里的 Agent,不只测得好,也上得稳、用得久。
- 点赞
- 收藏
- 关注作者
评论(0)