判定模型接入规范:阈值分级、误判代价与上线验收
大模型应用上线后,账单里有一块成本常被忽视:大量环节其实不需要生成能力。
邮件该归哪一类、这次查询该路由到哪个模型、这条回复能不能直接发出去——这些问题的答案都是"一个选项加一个把握程度"。让生成模型兼做这些判断,等于每次都按生成的价格付费。
判定模型(judge model)是把这部分拆出来的做法。它的接入本身不难,难的是长期可控:阈值凭什么定、模型升级后怎么办、出了事怎么追溯。这篇整理成一套可用于企业评审的规范。
一、先判断该不该用
判定模型的收益来自一处:它挡在成本高的那一步前面。
所以第一项评估是算后面那一步的单价:
- 生成调用按输出长度计费,长回复明显高于短回复。
- 工具调用要带完整定义、处理失败重试,一次往返还高于纯对话。
- 人工复核按分钟计,通常比前两项高一个量级。
判定调用输入短、输出只有几个 Token,通常比上述任一项低一到两个数量级。差价越大,收益越明显。
反过来,两类场景不该上:
- 后续环节本来就不贵。比如短文本格式化,加判定只是多一道工序。
- 判定后仍有绝大部分请求要走贵的那步。若分流比例低于一成,整件事不成立。
建议把"预计可拦截比例"作为立项的硬指标,先小范围测出来,再决定是否铺开。
二、场景清单与职责边界
判定模型的常见用法有九类,可按"它替掉了什么"来理解:
- 模型路由:替掉一次昂贵生成。简单问题不必动用大模型。
- 安全护栏:替掉一条不可靠的黑名单。前面先拦,后面才敢放开。
- 工具调用门控:替掉一刀切的人工审批。只读放宽,写入从严,删改先停。
- 收件箱分流:替掉一部分关键词匹配。归类是它的强项,生成不是。
- 搜索重排序:替掉长上下文阅读。把候选压到几条,少让生成模型读几段。
- LLM 评测:替掉一次大模型裁判。打分不必非用大模型。
- 批量标注:替掉全量人工标注。低把握的交人工,高把握的抽检。
- 实时控制:替掉离线批处理。读数进来就地判断,不等生成完。
- 置信度门:替掉无差别放行。过了门才发,没过就升级。
有两条边界必须写进设计文档:
- 它有可解释性缺口。它给结论不给理由。规则引擎能说清是哪条命中的,它说不清。所以它替代的是模糊地带,不是整套业务规则——该写死的规则继续写死。
- 它不会主动说"不知道"。想让它转人工,必须把"转人工"写成选项之一,并在提示词中约束低把握时优先选它。指望它在给定选项之外主动弃权,是常见的设计错误。
三、位置选择:应用内还是网关
判定逻辑的部署位置只有两个选择。
接在应用内部:判定与业务代码同域,能拿到完整业务上下文(客户等级、历史工单、会话状态)。一条线对应一个动作,职责清楚。代价是配置分散。
接在网关层:判定作为一层共享基础设施,与生成模型共用通路。配置集中、成本可合并核算、全量流量统一过一遍。代价是多一层转发与吞吐上限,且它能判断什么取决于请求里带了什么——请求里没有的上下文,它看不见。
选择依据一条即可:判定的正确性依赖多少业务上下文。 依赖少的(提示词注入拦截这类纯内容判断)适合上移;依赖多的(该转给哪个处理组)应当留在应用内。
四、阈值分级:按可逆性划四档
这是评审时最容易被拍脑袋决定的地方,也是最该被规范化的地方。
阈值不能全局唯一,必须按动作的可逆性分档。企业可按以下四档管理:
- 第一档:草稿类(最松)。产出草稿供人确认,错了改一下即可,阈值可以放到较低区间。
- 第二档:可回收的自动归档(中)。如归入某个文件夹、打某个标签,晚发现一两天仍可修正。
- 第三档:对外可见的自动应答(紧)。客户或外部系统会直接看到,出错需要解释与补救。
- 第四档:不可逆写操作(不自动放行)。删改数据、发起退款、执行脚本。这一档不设自动阈值,一律人工确认。
第四档的设计要点是白名单先于阈值:不可逆操作的白名单判断必须排在置信度判断之前。原因是模型判断的是"这个调用看起来是否常规",不是"这个操作是否可撤销"。置信度再高,也证明不了后一件事。
同时要把业务边界写进制度:涉及资金的与涉及对外发言的两类动作,建议单独审批、延迟授予。
五、校准与验收
阈值必须有本场景的测量依据;外部数字只能当形态参照,不能直接搬来用。
置信度不等于正确率。 模型返回的数值只是它对自己所选答案的把握。要得到可用阈值,必须做分桶校准:按置信度分区间,统计每个区间的样本量和实际精度。
公开评测里有一组可参照的形态:某数据集整体首选命中率约 0.558;将门槛提至 0.8,可自动处理约 34% 的样本,该批精度约 0.92。这组数的意义不在具体数值,而在于说明——同一个模型换一个门槛,就是换了一种用法,取舍必须显式做出。
验收时建议固定以下要求:
- 样本量不低于一百条,且覆盖各主要业务子类。
- 逐区间报告样本量与精度,样本量过小的区间不作为阈值依据。
- 同时报告误拦率与漏放率,两者业务代价不同,不能合并成一个准确率。
- 报告在该阈值下的自动处理比例与剩余人工量。
- 记录所用模型版本号与测量日期。
需要提醒的是:几份不同环节的测评各测各的,数字不能直接横向比较。评估时也别把小样本波动当成稳定效果。
六、版本治理
判定模型的配置是一份策略资产,必须像代码一样管理。
- 阈值与模型版本绑定。模型升级会导致置信度分布整体漂移,历史阈值立即失效。有公开实验显示,同一批题仅改变选项顺序,准确率就从约 72% 降到约 21%。版本变更后必须重新校准,不能假设旧线仍有效。
- 配置入库并留痕。记录阈值、模型版本、样本来源、校准日期、复核责任人。
- 埋点覆盖判定全链路。保存每次判定的输入摘要、所选选项、置信度与最终业务结果。缺少这份数据,既无法追溯误判,也无法做后续校准。
- 设定复核周期。业务规则变化、数据分布变化(如新增业务线、新增邮箱文件夹)都应触发重校。不同子集的分布不同,一个子集上调好的阈值不可直接搬到另一个子集。
七、落地路径
建议按以下顺序推进,不要一次铺开九个场景:
- 选场景:挑一个离数据最近、错了也能收回来的,如某个邮箱文件夹的分类。
- 标样本:人工标注不少于一百条,把"该走哪条路"作为标准答案。
- 先验可信度:让模型对同批数据跑一遍,按把握分组,看每组实际答对比例——先确认这个把握可用,再谈自动化。
- 定阈值:按可逆性分档设定,第四档直接排除自动放行。
- 灰度上线:先观察误拦与剩余人工量,再决定是否扩大范围。
- 调优顺序:先调阈值,仍不达标再考虑更换模型。换模型是最后一步,不是第一步。
- 扩展时重校:每新增一类业务,重新标一轮小样本,不要复用别处的线。
在私有化环境中,判定服务的模型文件与阈值配置可统一存放在对象存储(如 OBS)按版本管理,判定服务本身跑在托管平台(如 ModelArts)或本地推理节点;这样模型版本、阈值版本与测量数据三者可以对齐,便于审计与回溯。
八、外部趋势:从模型到一层基础设施
判定模型正在从"某次调用里的一个组件"变成"一层共享基础设施"——可以直接挂在企业网关上,与生成模型共用一条通路。这样账目能合并核算,但要接受多一层转发带来的吞吐约束。
对企业的实际影响是:权限、配额、审计这些原本围绕生成模型建立的机制,需要同步覆盖到判定层。它的调用量通常远高于生成调用(因为每一封邮件、每一次工具调用都要经过),这一层的资源规划不能按生成调用的量级来估。
九、落地清单
- 立项前算出"预计可拦截比例",低于一成不建议上。
- 明确它替代的是模糊判断,不是业务规则,也不是生成能力。
- 位置按"依赖多少业务上下文"选择应用内或网关层。
- 阈值按可逆性分四档,不可逆写操作排除在自动放行之外。
- 白名单判断排在置信度判断之前。
- 阈值依据本场景标注数据,样本不少于一百条,逐区间报告。
- 选项里显式加入"转人工",并约束低把握时优先选它。
- 阈值、模型版本、测量数据、复核日期一并入库。
- 模型升级后强制重校;业务或数据分布变化同样触发重校。
判定模型真正的用处,在于替谁省下了那一步。场景可以用一张清单看清,但门槛画在哪,只能用自己的数据来定。
- 点赞
- 收藏
- 关注作者
评论(0)