模型评测三条路实测：人工标注、规则匹配、LLM 打分的成本与一致性

500 条样本，两个人标了 9 天

500 条客服意图样本，两个人独立标了 9 个工作日，冲突交第三人仲裁。同期我用一个模型当裁判跑了一遍，26 分钟、1.7 元。结果摆在一起时，会议室里第一个反应是"那还标什么"。

但三个人标同一批样本，彼此一致率只有 0.71。也就是说，一开始就没有一份干净的标准答案。这篇把三条路放在同一批样本、同一套指标下比完，说清楚各自该待的位置。

先摆到同一张表上

样本统一取客服意图识别 500 条，6 个明确意图加 1 个"其他"，其中 120 条来自低频业务线的长尾。指标只看三个：与仲裁标签的一致率、单条全成本、跑一轮的耗时。

• 人工标注：2 人独立标，冲突交第三人仲裁。500 条 × 2 人 × 3.2 分钟约 53 人时，折合 3.6 元一条，全量一轮 9 个工作日。两人之间一致率 0.71，Kappa 0.62。
• 规则匹配：精确匹配加正则，再补一层同义词白名单。全量跑完 40 秒，成本近似为零。与仲裁一致率 0.78，补入 200 条同义词后 0.84。
• LLM 打分：单模型当裁判，一次判完 500 条，输入约 46 万 token、输出 3.1 万 token，账单 1.7 元，并发 8 耗时 26 分钟。与仲裁一致率首轮 0.69，标定三轮后 0.86。

一致性接近的时候，成本差了两个数量级，这就是"评测全面转模型打分"的诱惑所在。但一致率不是唯一变量，后面三节分别讲三条路各自错在哪里、错成什么样。

人工标注：值钱的是争议样本，不是那个分数

• 145 条争议才是资产。两人一致率 0.71，意味着 145 条样本本身没有共识。逐条看下来，61 条是"退款进度"和"物流查询"的边界，业务方当场承认这两类工单本来就该合并，评测集据此做了修正。这个发现只有人工能产出来。
• 仲裁环节不能省。省掉第三人，冲突样本就会被第一条标注覆盖掉，评测集表面干净、底下埋雷。
• 别让一个人标两遍。为了省成本让同一个标注员隔一周重标，一致率会虚高到 0.94，测出来的是他自己的一致性，不是标准本身的一致性。这条我们试过一次，白白拿回一版假数据。
• 每月只标增量。上线后回流的新分布样本每月取 200 条，成本降到 720 元一个月，比每版全量重标便宜八成。
• 标完必须下手册。每条争议写清判定理由，下一版规则词表和 judge 的提示词都从这里长出来，否则同一批争议会在每个季度重演一次。

规则匹配：够便宜，但只配做护栏

• 分数集中在头部。整体一致率 0.84 看着不低，拆到长尾 120 条只对了 43 条，35.8%。头部样本被词表覆盖得很好，长尾几乎没有命中。
• 它的真正价值是一票否决。格式错误、敏感词、空回复这类绝不允许出现的情况，规则判定延迟 0.4 毫秒，比任何模型都可靠，也不产生费用。
• 别拿规则分数做版本对比。词表一改分数就跳，你分不清是模型变好了还是词表变宽了。我们踩过一次：补同义词把分数从 0.78 抬到 0.84，同期模型版本其实没有变化。
• 规则要写测试。每条正则配 5 条正例、5 条反例，改词表先跑测试集，否则规则库会在半年后长成一团没法维护的东西。

LLM 打分：便宜，但标定之前毫无意义

• 首轮 0.69 不是模型不行，是口径没给。只写"是否为退款意图"，judge 把"我要退货"也算进去。补 3 条正反例、加一句边界说明，一致率升到 0.86，token 成本只多了 6%。
• 位置偏置真实存在。把 A/B 两个候选回答顺序互换重跑，18% 的样本结论翻转。固定顺序答案不稳，改成两次交换取一致，一致性提到 0.89，成本翻倍到 3.4 元，仍然可以忽略。
• 自身稳定性要单独测。温度 0 时同一输入重跑一致率 0.93，温度 0.7 掉到 0.81。评测链路的温度必须钉死，否则你每天测的是随机数，波动五个点都算不出来。
• 别让它给绝对能力打分。同一套提示词下，judge 对长回答的平均打分高 0.4 分，长度偏置会让"话变多"冒充"答更好"。要么在提示里明确扣长度分，要么对回答做等长截断再判。
• 并发 8 是这次实测的拐点。并发提到 16，总耗时从 26 分钟缩到 15 分钟，但 429 重试率升到 4%，算上重跑，实际只快了 18%。再往上加，账单和延迟一起涨，收益全是负的。

最后的分工

• 硬门槛交给规则：格式、敏感词、空回复，一次不过直接判失败，不进入统计口径。
• 全量监控交给 judge：每版跑 500 条，只看分桶和分布，不看绝对值；掉 3 个百分点以上才去查人工。
• 人工只标争议与新分布：每月 200 条、720 元，产出手册和示例，反哺 judge 提示词。
• 留 200 条冻结集：只在纵向对比时使用，任何调优都不许碰，包括不许拿它调提示词。
• 分数必须能拆到桶：整体 86% 掩盖不了某个意图只有 62% 的实情，报表按意图分桶出，掉分的那一桶才有人去查，否则总分一涨就全员收工。

小结

评测方案的选型问题不是"哪个准"，而是"哪个错得起"。规则错一条是线上事故，judge 错一条是统计噪音，人工错一条说明标准本身要修。把三类错误的后果分开算，分工自然就出来了：每版 1.7 元的 judge 跑全量，每月 720 元的人工标增量，规则守那条不可越过的线。