Agent 测评是什么？大白话讲一讲

你给 AI 配了个“助手”，让它帮你订机票、写代码、查资料。它看起来挺聪明，但你怎么知道它真的靠谱，而不是在瞎编或者偷懒？

这就是 Agent 测评要解决的问题。说白了，就是给 AI 助手安排一场“期末考试”，看它能不能把活干成、干好、干得划算。

为什么不能像测普通 AI 那样测 Agent？

普通聊天 AI 你问一句它答一句，对错一眼便知。但 Agent 不一样：它会自己拆步骤、调工具、来回折腾。比如让它“订一张明天去上海的机票”，它得先查航班、比价格、填乘客信息、最后付款。中间任何一步出错，结果都完蛋。

所以测评 Agent 不能只看最后那句话说得漂不漂亮。Google 的开发者博客里打了个比方：一个回答在文字质量上满分，但如果它花了 40 秒、调了 12 次没用的工具、每次查询烧掉六毛钱，那在生产环境里照样是失败的。你得连过程一起看。

测评到底测什么？

大致分几层，从“能不能用”到“用起来贵不贵”：

第一层：活干成了吗？ 这是最基础的。比如让它“把这份报表里的异常数据标红”，它到底标没标、标对没标。研究里管这叫“任务完成率”。目前的情况不太乐观：有资料显示，即使是顶尖 Agent，在真实世界基准测试里的得分也常常低于 50%。也就是说，一半以上的真实任务，它们搞不定。

第二层：工具用对了吗？ Agent 干活靠“调工具”——搜索、计算器、数据库、支付接口。微软的评估体系里专门有一项叫“工具调用准确率”：它是不是选了正确的工具？参数填对了吗？有没有明明一个搜索就能搞定的事，它绕了五个弯？ 这就像看一个厨师做菜，不光要菜好吃，还得看他有没有把锅烧穿了。

第三层：过程靠谱吗？ 有的 Agent 结果对了，但过程吓人。比如你让它“退款”，它没核实用户身份就直接调了退款接口。Google 的建议是：把这种检查做成是/否的硬性判断，别用“1 到 5 分打几分”那种模糊标准——因为 AI 自己当裁判时，给 3 分还是 4 分全看心情，根本不稳定。直接问“它在退款前核实账号 ID 了吗？是/否”，清楚得多。

第四层：划算吗？ 这就是前面说的：花了多少钱、用了多少时间、调了多少次冤枉工具。一个 Agent 如果每次回答都慢如蜗牛、贵如打车，那再准也没法用。

谁来判断？总不能全靠人吧

全用人来盯，累死也盯不过来。所以现在流行一种做法叫 “LLM 当裁判”：用一个更聪明的 AI 去读 Agent 的执行记录，判断它每一步做得对不对。

但这招有个坑：裁判自己也可能偏心或者犯糊涂。所以讲究的做法是，先验证裁判靠不靠谱。有个开源框架的做法挺实在：拿一批人类已经标好的记录让 AI 裁判判，算一下它和人类的一致性。如果一致性太低，说明这裁判不能信，得换。有个反面教材很说明问题：一个简单的“全过”裁判，和人类的一致率有 81%，听起来不错吧？但它的科恩卡帕系数是 0——意思是它纯粹在蒙，因为样本里本来就是 81% 通过，它全说过就完事了。所以光看“准确率”不够，得看它是不是真的在判断。

普通人需要关心这个吗？

如果你只是用用现成的 AI 助手，不太需要。但如果你或你的团队要选一个 Agent 来干活，或者自己做一个 Agent，那测评就是刚需。

选现成的：别光看宣传视频里成功的那一次。问一句：它在真实场景下的成功率是多少？出错的时候是安静地错（结果不对但不报错）还是大声地错（直接崩溃）？前者更可怕，因为你根本不知道它坑了你。

自己做：别一上来就搞复杂的大规模测评。Google 的建议很接地气：先手动读 20 条执行记录，拿支红笔，把 Agent 犹豫、瞎编参数、选错工具的地方全圈出来。这一小时的红笔功夫，比自动生成一堆图表有用得多——因为它让你亲眼看到系统在现实中到底是怎么坏的。

说到底，Agent 测评就是一句话：别被“看起来聪明”骗了，拿真实任务考它，连过程带成本一起算账。 毕竟你雇个助手，要的是活干得漂亮，不是话说得漂亮。