给 Agent 加评测:系统地测它做对了多少
AGENT 系列 · 第五篇
给 Agent 加评测:系统地测它做对了多少
第一篇认识 Agent,第二篇做出第一个,第三篇学会协作,第四篇接上真实工具。这一篇补上最后一课:怎样系统地测出 Agent 到底做对了多少,而不是每次都靠试一次、看一眼、凭感觉下结论。
前四篇走完,出行 Agent 已经像模像样了:能拆任务、能分工、能调用 search_stays 查真实房源、get_weather 查真实预报,还能在确认点拦住下单。可它到底靠不靠谱,仍然没有人说得清。演示时查对了三家民宿,不等于换个周末、换种说法还查得对;改了一版提示词觉得更顺了,也不等于整体真的变好了。这篇讲的评测,就是把这类判断从感觉变成数字。
贯穿全文的例子:还是那次两人周末出行。任务不变——住民宿、定交通、看天气、控预算、排行程。这一篇不再给它加新能力,而是给它出一套卷子:固定一批出行任务,让它反复作答,再按事先定好的规则打分,看它查得准不准、算得对不对、订和改有没有越界、花了多少步数和时间。
这篇要讲清的评测链路
环节:为什么要测——凭感觉为什么靠不住,一次做对说明不了什么
环节:评测是什么——有标准答案的任务、固定的打分规则、可复查的结果
环节:怎么出题与打分——题目从哪来、覆盖什么;结果、过程、成本三类指标怎么算
环节:怎么对比——改提示词、换工具、换模型之后,怎么确认是真变好
环节:坑与落地——评测最容易失真在哪、最小评测怎么搭、翻车怎么查
先说结论:评测不是上线前的一次考试,而是 Agent 的日常体检。题目和规则一旦固定,每一次改动都能用同一把尺子量,变好还是变坏,一测便知。没有这把尺子,能力越强,放大的是对是错也越说不清。
一、为什么凭感觉不行:一次做对,不等于次次做对
大多数人判断 Agent 好不好,靠的是亲手试几次:问一个问题,答得不错,就觉得行;答砸一次,又觉得不行。这种判断有三个先天缺陷:样本太少、条件不固定、记忆不可靠。试的那几次,往往还是自己最熟悉、最顺手的问法,恰好避开了最容易出错的地方。
感觉判断的问题:
- 演示时做对了:只测了最顺利的一条路径,边界情况没碰过。例子:周六、两人、预算充足时查得很好;换成带老人、要连住三晚就漏查无障碍房源。
- 换个说法就翻车:同一件事换一种表达,理解和选工具都可能变。例子:“找安静的民宿”和“找隔音好、离夜市远的民宿”,一家查对,一家把临街房也算进来。
- 换个日期就出错:日期、节假日、淡旺季一变,价格和可订状态全变。例子:平日价算对了,到了节假日还按平日价报总价,预算当场超支。
- 改完觉得更好了:没有改动前后的同条件对比,印象代替了证据。例子:新提示词让行程排得更顺,却悄悄多调了两次工具,成本涨了也没人发现。
Agent 的输出本来就带有不稳定性:同一个问题问两遍,措辞、顺序、选的工具都可能不同。单次结果既不能证明它行,也不能证明它不行。要回答“它到底做对了多少”,只能换一种问法:给它一批固定的任务,数一数做对了几件、错在哪几件——这正是评测要做的事。
二、评测是什么:一套卷子、一把尺子、一份成绩单
评测的定义很朴素:准备一批有标准答案的任务,让 Agent 在相同条件下跑一遍,再按事先定好的规则打分。三个要素缺一不可:任务要固定,否则每次测的不是同一件事;答案要事先定好,否则打分时又回到凭感觉;规则要写在跑之前,否则看到结果再定标准,等于先射箭再画靶。
要素:
- 题目集:一批写死的任务,每道题有明确输入。例子:20 道出行任务,查房、算价、查车、排行程、改期,各占一部分。
- 标准答案:每道题期望得到的结果或必须满足的条件。例子:指定日期内可订、两人入住、总价不超过预算、车程衔接得上。
- 打分规则:事先写清什么算对、什么算部分对、什么算错。例子:房源和价格全对才算对;漏一项扣一半;编造不存在的房源直接判错。
- 成绩单:一轮跑完汇总的数字和错题清单。例子:总正确率、分题型正确率、平均步数,以及每道错题错在哪一步。
注意评测和演示的区别:演示挑最能成功的例子给人看,评测专挑能暴露问题的例子来考。前者求说服,后者求真相。把两者混在一起——拿演示的好结果当评测结论——是后面第六节要讲的坑之一。
三、怎么出题:从真实任务里挑,覆盖查、算、订、改
题目是评测的地基。出题的第一原则是从真实任务里挑,不凭空编:把过去真实出现过的请求、尤其是曾经答错、答得含糊、让人不放心的那些,原样收进题目集。真实任务自带真实的说法、真实的日期和真实的坑,编出来的题往往太干净,测不出问题。
第二原则是覆盖完整。出行任务按动作可以分成四类,缺了哪一类,那一类的问题就永远测不出来:
- 查:查得到、查得准,不编造、不拿旧数据冒充。题目示例:查指定周六、两人入住、可订的三家民宿,并注明价格来源。
- 算:口径对、计算对,日期和人数不串位。题目示例:三家民宿各住两晚的总价,含附加费用,按离店日期结清。
- 订:该确认的先确认,不越权、不擅自下单。题目示例:选定一家后先摆出对象、金额和取消规则,等确认再下单。
- 改:改得对、改得全,改完重新核对衔接。题目示例:出发改到下周,房、车、行程三处同步改,并重算总价。
第三原则是难易分层。简单题考基本功:条件齐全、说法直接;中等题带一两个转折:预算卡得紧、需要取舍;难题专设陷阱:信息互相矛盾、工具会返回空结果、用户中途改主意。三层都测,总分之外还要看分层得分——简单题都错是基本功问题,只有难题错则多半是能力边界,两者的修法完全不同。
最后,每道题都要写成同一个格式,跑的时候才不用临场解释:
题目:周六出发,两人,住两晚,预算总价不超过 1200 元,找三家可订民宿并按总价从低到高排序。
输入:出发日期、人数、晚数、预算上限(固定值,不随跑动变化)
期望:三家均可订;每家给出每晚价与两晚总价;排序正确
打分点:可订状态对(必备)|总价口径对(含附加费)|排序对|出现编造房源直接判错
输入固定还有一层用意:查类题目的“标准答案”会随真实房源和价格变化,所以评测时要么把工具返回的数据快照固定下来,要么只校验条件是否满足(可订、在预算内、日期对),不要把某一刻的价格写死成唯一答案。否则房价一变,全班不及格,错的其实是卷子。
四、怎么打分:结果、过程、成本,三类都要算
只看最终答案对不对,会漏掉两件重要的事:它有没有违规操作,以及它花了多大代价。一次“答案正确但未经确认就下了单”的运行,按结果算满分,按规矩该判零分。所以打分要分三类,分别算、分别看,不合成一个含糊的总印象。
指标:
- 结果指标:正确率 = 判对的题数 / 总题数;再按查、算、订、改和难易分层各算一份。例子:20 道题对 16 道,总正确率 80%;其中算类只有 60%,先修算价口径。
- 过程指标:合规率 = 无违规运行数 / 总运行数;违规包括未确认就写入、调用未授权工具、编造结果。例子:订类题 5 道有 1 道没等确认就下单,合规率 80%,这一项不及格不能被总分盖住。
- 成本指标:平均步数、平均工具调用次数、平均耗时和平均费用,取一轮的均值与最大值。例子:平均 6 步答完一道查价题,最慢一道绕了 14 步——结果对,成本也要记账。
三类指标要一起看,单看任何一类都会把优化带偏:只追正确率,容易养出反复重试、步数爆炸的答法;只追成本,容易养出跳过核查、抢着交卷的答法;只看合规,则可能稳妥有余、什么都办不成。实际判读时先设门槛再比高低:过程合规是底线,不达标直接否决;在此之上再比结果,成本相近时选成本低的。
打分尽量让程序判,人只判程序判不了的。价格、日期、排序、是否超预算,这类有明确对错的,用规则自动判,快而且一致;行程排得顺不顺、说明写得清不清楚,这类没有唯一答案的,才请人按事先写好的档位(如完整、可用、不可用三档)来评。把能自动判的留给人逐题看,评测很快就会因为太费人力而停摆。
五、怎么做对比:同一套题重测,数字说了算
评测最大的用处,不是给某一个版本打一个分,而是比较版本。Agent 几乎一直在改:提示词要调、工具要换、模型要升级。每次改动都回答同一个问题——这次改完,到底变好了还是变差了?回答的办法只有一个:用同一套题、同一套规则、同一批固定数据,把改动前后再各跑一遍,比成绩单。
改动与判读:
- 改提示词:重点看总正确率与分题型正确率,错题是否换了分布。判读:查类涨了、算类跌了,说明新提示词只帮了一类,要分开处理,不能只报总分。
- 换工具或数据源:重点看查类正确率、空结果处理、平均耗时。判读:正确率持平但耗时减半,是实打实的进步;耗时降了但编造变多了,是退步。
- 换模型:三类指标全看,外加成本里的费用一项。判读:正确率高 3 个百分点、费用涨一倍,值不值要按场景算账,不能只看谁分高。
对比时守两条纪律。一是一次只改一处:提示词和模型同时换,分数变了也说不清是谁的功劳。二是留底:每轮的题目版本、规则版本、成绩单和错题清单都存好,日后任何人质疑结论,都能把那一轮原样重跑。没有留底的对比,和凭感觉没有区别,只是多了一张表格而已。
六、评测里的坑:分数有了,也可能全是假象
评测做起来之后,最危险的阶段恰恰是“已经有分数了”。分数会给人一种精确的错觉,而下面四个坑,每一个都能让分数和真实水平脱节。
- 题目泄露:题目和答案被写进提示词、示例或训练材料,Agent 等于提前看过卷子。避法:题目集与开发材料分开存放;另留一批从不示人的保留题,定期抽测。
- 只测简单题:出题时不自觉挑顺手的任务,难题和真实翻车过的题没进来。避法:按查、算、订、改和难易三层配额出题;真实答错过的任务优先入题。
- 标准含糊:“排得合理”“答得清楚”这类打分点没有档位定义,换个人打就换个分。避法:每个打分点写清判对、部分对、判错的具体情形,并各给一个示例。
- 一次结果当结论:Agent 输出有波动,跑一轮的高分可能只是运气好。避法:重要结论至少跑两到三轮看均值和波动;波动大的题单独标记,先查稳定性。
四个坑里最隐蔽的是标准含糊。它不像泄露那样明显作弊,而是让整套评测慢慢漂移:今天觉得“差不多算对”,明天换个人判又严了一档,两个版本的分数根本不在一把尺子上。对照的办法很土但有效——留几道已判过的样题,每轮打分前先用样题校准,判法对齐了再开跑。
七、最小的评测:10 道题、3 个指标、先跑一轮
评测听起来工程浩大,起步其实和前几篇的最小做法一样:先搭一个能转的小闭环。第一版只需要三样东西——10 道题、3 个指标、跑通一轮。
- 攒 10 道题。从真实任务里挑:查、算、订、改至少各 2 道,再加 2 道曾经答错或最不放心的。每道题按第三节的格式写清输入、期望和打分点,查类题固定数据快照。
- 定 3 个指标。结果只取总正确率,过程只取合规率,成本只取平均步数。先少而稳,等跑顺了再细分题型和分层。
- 跑一轮并留底。让 Agent 把 10 道题完整跑一遍,逐题判分,汇总成绩单,把错题清单和每道错题的运行记录一起存好。
- 先修错题,再扩题。第一轮的价值全在错题里:逐道看错在哪一步,是理解错、选错工具、口径错还是违规。修完用原题重测,确认修好再往题库里加新题。
最小评测检查清单:
- 10 道题全部来自真实任务,查、算、订、改四类齐全
- 每道题写清了输入、期望输出和打分点,没有临场解释的空间
- 查类题的数据已固定,或只校验条件、不把实时价格写成唯一答案
- 三个指标事先定好:正确率、合规率、平均步数,跑完再改规则视为作废
- 成绩单和错题清单已留底,注明题目与规则的版本
- 错题已逐道定位到出错步骤,而不是只记一个总分
八、常见翻车:评测跑起来之后最容易出的问题
- 分数很高,实际不好用:常见原因是题目太简单或已泄露;或只测了结果,没测过程与真实场景的衔接。排查与修法:先查题,补难题和保留题,核对题目是否进了提示词与示例;再补过程指标和真实任务抽测。
- 分数忽高忽低:常见原因是输出本身有波动,题目又少,一两道题的摇摆就拉动总分。排查与修法:扩题量、每轮多跑几次看均值;把波动最大的题拎出来,先查它是真不稳定还是标准含糊。
- 评测比 Agent 还难维护:常见原因是题目靠手工逐题看、规则散落在各处,工具一升级题目就大批失效。排查与修法:能自动判的全部自动判;题目按题型集中管理;工具变更时只更新受影响题目的数据快照。
- 为了分数把 Agent 教歪了:常见原因是只针对题目集反复调提示词,Agent 学会了应试,换个说法又翻车。排查与修法:保留题不参与调优,只做验收;调优用练习题,验收用没见过的题,两套分开。
- 错题看了,没人修:常见原因是只汇总分数不定位步骤,错题清单跑完就归档。排查与修法:每道错题必须落到出错步骤和责任环节(理解、选工具、口径、合规),修完原题重测才算关闭。
排查顺序仍然是老规矩:先看运行记录,确认每道错题到底错在哪一步;再看题目和标准,确认卷子本身没有问题;最后才怀疑 Agent 的能力。为卷子的问题去改 Agent,是评测场景里最常见的白费力气。
系列收尾:从会回答,到能确认办对了
五篇到这里走完,回头看是一条完整的线。第一篇认识 Agent:它不是更会聊天的模型,而是围绕目标持续行动的系统。第二篇动手:用提示词和工具调用做出第一个 Agent,让它跑起想一步、做一步、看一步的循环。第三篇协作:几个 Agent 分工、交接、合流,像团队一样把大任务做完。第四篇接工具:通过 MCP 接上真实系统,让它查得到、订得成、改得了。这一篇评测:用固定的题目和规则量出它做对了多少,让每一次改进都有据可查。
五步合起来,正是一个闭环:能做事,还要能确认事做对了;确认之后发现问题,再回到提示词、工具和分工上去改,改完再测。Agent 的能力边界,从“会回答问题”扩到“能完成任务”,最后落在一句最朴素的话上——做对了多少,要拿数字说话。这个系列就讲到这里,愿你手里的 Agent,既办得成事,也经得起测。
- 点赞
- 收藏
- 关注作者
评论(0)