翻译质量评估实践：自动指标、人工抽检与裁判模型的组合拳

翻译服务上线后最常被 challenge 的问题：「你们质量怎么样？」这篇分享我们的质量评估体系——三层组合，各有分工。

第一层：自动指标（每版本必跑）

BLEU、chrF、COMET 三件套对着评测集跑。它们的角色是回归检测：新版本相对旧版本有没有退化。不看绝对分（和人类判断的相关性有限），只看相对变化，超过阈值阻断发布。

评测集构建有讲究：不能只用公开集（WMT 之类），要加自建的业务集——技术文档、论文摘要、报错信息三类各几百条，覆盖真实场景的术语密度。

第二层：人工抽检（每周）

按 1% 抽样人工评分，评分维度：忠实度（意思对不对）、流畅度（通不通顺）、术语一致性（和 glossary 对不对得上）。三个维度独立打分，忠实度一票否决。

抽检发现的 badcase 归类：术语错、数字错、语气错、漏译。每类追溯根因——术语错多半是 glossary 覆盖不足，数字错要上规则后处理，漏译查批处理切分边界。

第三层：裁判模型（每月 + 发版前）

用强模型当裁判，对自动指标和人工抽检之间的大样本灰色地带做评估。裁判模型的用法不是打绝对分，而是找分歧：裁判打分和线上用户反馈不一致的样本，是评测体系本身要更新的信号。

一个反直觉的经验

质量提升的最大杠杆不是换模型，是术语表建设和批处理上下文优化——这两项工程改进对用户感知质量的贡献，超过模型升级一个档次。评估体系要能捕捉到这种工程收益，而不是只盯模型版本。

结语

质量评估不是一次性认证，是持续运行的工程系统。三层组合的成本不高（自动指标边际成本近零，人工抽检每周两小时），但它让「质量」从形容词变成可管理的数字。

（评估体系来自随心翻译翻译服务的实践。）