一、背景：为什么 Agent 不能只看最终答案？

随着大语言模型（LLM）从简单的文本问答逐渐发展为能够自主规划、调用工具和执行复杂任务的 AI Agent，如何准确评价 Agent 的能力，成为一个越来越重要的问题。

对于传统的大语言模型，我们通常可以通过准确率、BLEU、ROUGE 等指标评价模型生成的结果。但对于 Agent 来说，仅仅判断最终答案是否正确，已经不足以全面反映其能力。

例如，让一个 Agent 完成资料调研任务。它可能经历以下过程：

1. 理解用户的任务需求；

2. 制定执行计划；

3. 搜索和获取相关资料；

4. 分析信息并处理不同来源之间的差异；

5. 整理结果并生成最终报告。

即使最终报告看起来不错，也不意味着整个执行过程都是正确的。Agent 可能遗漏了重要信息，调用了不合适的工具，甚至在缺少证据的情况下生成看似合理的结论。

反过来，有些 Agent 虽然没有完全完成任务，但已经正确执行了大部分步骤。

因此，Agent 评测需要从单纯的结果评价，逐步转向对执行过程和最终结果的综合评价。

二、什么是 Rubric？为什么它适合 Agent 评测？

Rubric 可以理解为一套结构化的评价标准。

它不是简单地告诉评测模型某个回答好不好，而是明确规定：评价什么、什么情况下算好、什么情况下算不好，以及应该依据什么证据进行判断。

例如，评价一个 Agent 是否完成了资料调研任务，可以设计以下标准：

通过这种方式，原本比较抽象的 Agent 能力，就可以被拆解为一系列具体的评价标准。

与传统评测方式相比，Rubric 主要有三个优势：

1. 从结果评价转向过程与结果评价。

不仅关注 Agent 最终有没有完成任务，还关注它是如何完成任务的。

2. 从主观评价转向标准化评价。

将模糊的质量要求拆解成明确的判定条件，降低不同评测人员之间的主观差异。

3. 从单一分数转向细粒度问题分析。

不仅知道 Agent 的整体表现，还能够发现它究竟在哪些能力上存在不足。

三、如何设计一套有效的 Rubric？

Rubric 的设计质量直接影响最终评测结果。一个好的评价标准，需要具备明确性、可观测性和可操作性。

可以遵循三个步骤。

3.1 第一步：明确需要评价的能力

首先，需要明确希望 Agent 具备哪些能力。

例如，对于一个能够自主使用工具的 Agent，可以关注：

• 是否理解任务；

• 是否制定合理的计划；

• 是否正确使用工具；

• 是否能够处理异常情况；

• 是否能够验证执行结果；

• 是否遵循必要的约束。

这里需要注意，不同任务的评价维度可以不同，不需要为所有 Agent 强行设计一套完全相同的标准。

3.2 第二步：将能力拆解为原子化标准

这是 Rubric 设计中最重要的一步。

例如，不能简单地使用“工具使用能力好”作为一个评价标准，因为它包含了多个不同的问题。

可以进一步拆解为：

• 是否选择了正确的工具；

• 是否提供了正确的参数；

• 是否在合适的时机调用工具；

• 是否正确理解工具返回结果。

每个标准尽量只评价一个核心问题。

这样做可以避免多个能力混在一起，也方便后续定位错误。

3.3 第三步：明确判定条件

每个 Rubric 都应该有明确的通过和失败条件。

例如：

评价标准：信息准确性

• PASS：关键结论有可靠的信息来源支撑。

• FAIL：出现与已有证据矛盾的结论，或者编造不存在的信息。

• N/A：当前任务不涉及事实信息核验。

• UNKNOWN：现有记录不足以判断。

这里增加 N/A 和 UNKNOWN 非常重要。

N/A 表示评价标准不适用于当前任务；UNKNOWN 则表示缺少足够证据。二者都不应该直接被当作 FAIL。

四、如何利用 LLM-as-a-Judge 实现自动化评测？

Rubric 定义完成后，就可以利用大语言模型作为评测器，也就是 LLM-as-a-Judge。

其基本流程非常简单：

待评测任务
    |
    v
Agent 执行任务
    |
    v
收集执行过程和最终结果
    |
    v
输入 Rubric 评价标准
    |
    v
LLM Judge 逐项评价
    |
    v
输出评分、原因和证据

例如，可以将 Agent 的执行记录和评价标准一起交给另一个大模型，让它逐项判断是否满足要求。

不过，LLM Judge 并不是万能的。

它可能存在评价不稳定、过度偏好长文本、忽略细节等问题。因此，实际应用中可以结合三种方式：

• 规则评测： 通过代码检查格式、参数和明确的执行状态。

• 模型评测： 利用 LLM 判断语义、任务完成度和复杂行为。

• 人工评测： 对复杂案例进行复核，并用于校准自动评测器。

尤其需要注意，Judge 不应该只输出一个分数，还应该给出判定理由和证据。

否则，即使发现 Agent 得分下降，也很难知道问题究竟出在哪里。

五、从评测到优化：构建 Agent 持续进化闭环

Rubric 的价值不应该停留在评价模型好坏，更重要的是利用评测结果指导模型优化。

一个典型的闭环可以分为四个阶段：

第一阶段：评测与发现问题。

使用固定评测集，对 Agent 进行多轮测试，统计不同 Rubric 的通过率，发现模型的薄弱环节。

第二阶段：错误归因与数据构建。

根据失败的 Rubric 对问题进行分类，分析错误原因，并构建针对性的训练样本。

第三阶段：针对性训练。

根据问题类型选择不同的优化方法：

• SFT：通过高质量示范数据，让模型学会正确的行为。

• DPO：通过偏好数据，让模型更倾向于选择高质量行为。

• GRPO：通过奖励反馈和多次探索，进一步优化模型的决策策略。

第四阶段：回归评测。

使用相同的评测集重新测试模型，判断优化是否真正有效，同时检查是否引入了新的问题。

整个过程可以概括为：

       Agent 执行任务
             |
             v
        Rubric 评测
             |
             v
        发现能力短板
             |
             v
        错误分析与归因
             |
             v
       构建训练数据
             |
             v
       SFT / DPO / GRPO
             |
             v
        回归评测
             |
             └──────> 持续迭代

这里最重要的一点是：评测标准不仅用于判断模型是否合格，还可以成为模型训练的数据组织依据。

当评测结果能够明确指出模型在哪些行为上存在问题时，训练就不再只是简单地增加数据量，而是可以围绕具体能力短板进行针对性优化。

六、实践中的几个关键问题

在实际构建 Rubric 评测体系时，还有几个问题值得关注。

1. Rubric 越多越好吗？

并不是。过多的评价标准可能造成重复评价，也会增加评测成本。应该优先覆盖核心能力，再逐步补充长尾问题。

2. 是否需要人工标注？

需要。尤其在初期，人工标注可以用于验证 Rubric 是否合理，以及检查 LLM Judge 的评价是否可靠。不能直接假设 Judge 的结论就是正确答案。

3. 如何保证评测结果稳定？

可以通过固定测试集、多次独立运行、抽样人工复核等方式，观察模型表现是否稳定。同时需要固定 Rubric 版本和评测器配置，避免不同实验之间的评价标准发生变化。

4. 评测分数高，就代表 Agent 能力强吗？

不一定。评测集可能存在覆盖不足、样本过于简单或者评价标准存在偏差等问题。因此，评测结果需要结合任务覆盖范围、实际执行表现和线上反馈综合判断。

七、总结

Agent 的发展正在推动 AI 评测从传统的结果评价，走向对复杂行为的细粒度评价。

Rubric 提供了一种有效的思路：将抽象的能力要求拆解为具体、可观测、可执行的评价标准，再结合规则引擎、LLM-as-a-Judge 和人工评价，实现对 Agent 的系统化评估。

更重要的是，Rubric 不仅是一套评测标准，也可以成为连接评测与训练的桥梁。

通过持续发现模型短板、构建针对性训练数据、优化模型行为并进行回归验证，可以逐步形成一个以评测驱动模型改进的闭环。

从这个角度看，Agent 评测的最终目的并不是给模型打一个分数，而是持续回答三个问题：模型目前具备什么能力？还存在哪些短板？下一步应该如何改进？

这也是构建 Agent 自我优化与持续进化体系的重要基础。