NLP、CV（计算机视觉）、预测三大领域的验收指标分类

一、NLP（自然语言处理）验收指标体系

核心技术指标

1. 基础性能指标
   • 准确率 / 召回率 / F1 分数：文本分类、实体抽取等任务的核心指标。例如，法律文书实体识别 F1 分数≥90%3。
   • 响应时间：实时问答系统要求 95% 请求≤200ms，金融交易风控模型需≤50ms3。
   • 吞吐量：内容审核系统需支持≥1000 请求 / 秒，电商推荐模型需≥5000QPS3。
2. 泛化能力指标
   • 跨领域准确率衰减率：通用对话模型在医疗领域的准确率需≥训练集的 85%3。
   • 长尾覆盖率：法律文书生成模型需覆盖 90% 以上法律条款类型，遗漏率≤3%3。
3. 模型效率指标
   • 参数量与压缩率：7B 模型量化为 INT4 后参数量≤2B，推理速度提升≥3 倍3。
   • 资源利用率：边缘端部署模型需满足单卡（16GB 显存）支持 13B 模型实时推理，显存占用≤80%3。

业务适配指标

1. 垂直领域指标
   • 医疗领域：
     • 误诊率：AI 影像诊断系统误诊率≤0.5%，需通过第三方盲测3。
     • 合规性：训练数据需符合《医疗 AI 软件安全认证》，标注医生需具备主任医师资质3。
   • 金融领域：
     • 风险识别召回率：反欺诈模型对高风险交易的召回率≥98%，误报率≤0.1%3。
     • 专业术语覆盖率：财报分析模型需正确识别 95% 以上财务指标（如 EBITDA、ROE）3。
2. 任务专项指标
   • 文本生成任务：
     • 风格一致性：生成内容需符合指定语气（如正式 / 口语化），人工评分≥4.5/53。
     • 结构合规性：合同生成需包含所有法律必要条款，格式错误率≤2%3。

合规与安全指标

1. 数据合规性：训练数据需提供授权证明，敏感数据（如医疗、金融）需脱敏处理3。
2. 内容安全：生成内容中敏感词出现概率≤0.01%，需集成内容过滤模块3。
3. 模型可解释性：高风险场景（如贷款审批）需提供推理逻辑链条，人工可追溯性≥90%3。

二、CV（计算机视觉）验收指标体系

核心技术指标

1. 基础性能指标
   • mIoU（平均交并比）：目标检测和语义分割任务的核心指标，如自动驾驶中障碍物检测 mIoU≥85%1。
   • FLOPs（浮点运算次数）：衡量模型复杂度，如 7B 模型量化后 FLOPs 需≤200G，适配移动端部署1。
   • 混淆矩阵衍生指标：准确率、召回率、精确率、F1 分数，适用于图像分类、目标检测等任务1。
2. 泛化能力指标
   • 跨领域准确率衰减率：通用图像分类模型在遥感影像中的准确率需≥训练集的 80%8。
   • ZEB 基准测试：图像匹配模型在 ZEB（包含 12 个跨场景数据集）中的 Mean Rank 需≤3，AUC@5°≥85%8。
3. 模型效率指标
   • 推理速度：工业质检系统要求单张图像处理时间≤50ms，支持实时产线检测1。
   • 多模态对齐度：图文检索准确率≥85%，视频问答逻辑一致性≥90%3。

业务适配指标

1. 垂直领域指标
   • 医疗影像：
     • DICOM 合规性：医学影像处理需符合 DICOM 标准，影像重建误差≤0.5mm6。
     • 误诊率：AI 辅助诊断系统误诊率≤0.3%，需通过临床专家双盲测试6。
   • 工业检测：
     • 缺陷识别率：产品表面缺陷检测召回率≥99%，误报率≤0.5%1。
     • 尺寸精度：零件尺寸测量误差≤±0.1mm，需通过激光校准验证1。
2. 任务专项指标
   • 目标检测任务：
     • mAP（平均精度均值）：在 COCO 数据集上 mAP≥50%，小目标（如无人机检测）mAP≥30%1。
     • 多目标跟踪：MOTA（多目标跟踪准确率）≥70%，ID Switch（身份切换次数）≤5 次 / 分钟1。

合规与安全指标

1. 数据合规性：医疗影像数据需符合 HIPAA/GDPR，标注医生需具备执业资质6。
2. 内容安全：安防监控系统需自动过滤敏感画面（如暴力、隐私场景），漏检率≤0.01%3。
3. 模型可解释性：自动驾驶决策需提供注意力热力图，关键决策路径人工可追溯性≥90%12。

三、预测（时间序列 / 回归任务）验收指标体系

核心技术指标

1. 基础性能指标
   • MAE（平均绝对误差）：销售预测 MAE≤5%，库存预测 MAE≤8%3。
   • RMSE（均方根误差）：能源需求预测 RMSE≤10%，金融风险预测 RMSE≤15%3。
   • R²（决定系数）：房价预测 R²≥0.85，经济指标预测 R²≥0.753。
2. 泛化能力指标
   • 跨周期准确率衰减率：季度销售预测模型在年度数据上的准确率需≥训练集的 90%3。
   • 异常检测覆盖率：工业设备故障预测需覆盖 95% 以上异常模式，漏检率≤2%3。
3. 模型效率指标
   • 预测延迟：实时交易风控模型响应时间≤50ms，支持毫秒级决策3。
   • 多步预测能力：天气预测需准确预测未来 7 天趋势，MAE≤3°C（日均值）3。

业务适配指标

1. 垂直领域指标
   • 金融领域：
     • 风险识别召回率：信用违约预测召回率≥98%，误报率≤0.1%3。
     • 压力测试通过率：模型需通过极端市场条件（如 2008 年金融危机数据）测试，准确率≥80%3。
   • 供应链领域：
     • 库存周转率优化：预测模型需使库存周转率提升≥15%，缺货率≤3%9。
     • 动态调整能力：需求预测需实时响应促销活动，预测误差≤10%（活动期间）9。
2. 任务专项指标
   • 时间序列预测：
     • 季节性拟合度：零售销售预测需捕捉季节性波动，周期误差≤5%3。
     • 趋势预测准确性：GDP 增长预测需正确识别上升 / 下降趋势，准确率≥90%3。

合规与安全指标

1. 数据合规性：金融预测数据需符合巴塞尔协议，隐私数据需脱敏处理9。
2. 模型可解释性：贷款审批模型需提供特征重要性排序（如 SHAP 值），人工可解释性≥80%12。
3. 反欺诈能力：支付风险预测需识别新型欺诈模式，召回率≥95%，误报率≤0.05%3。

四、合同 SOW 关键验收条款示例

1. 分阶段验收
   • CV 项目：
     • 预验收：在 COCO 数据集上 mAP≥50%，推理速度≤100ms / 张。
     • 最终验收：在实际产线环境中缺陷识别率≥99%，误报率≤0.5%1。
   • 预测项目：
     • 预验收：MAE≤8%，R²≥0.75。
     • 最终验收：在极端市场条件下准确率≥80%，预测延迟≤50ms3。
2. 惩罚条款
   • 性能不达标：若准确率低于合同要求 5%，按合同金额的 10% 扣罚；每延迟 1 天交付，扣罚 0.1% 合同款3。
   • 数据泄露：因模型缺陷导致数据泄露，需承担全部法律责任及经济损失3。
3. 持续维护要求
   • 模型更新：合同期内每季度提供一次模型升级，性能提升≥5%3。
   • 技术支持：7×24 小时响应，重大故障修复时间≤4 小时3。

五、行业标准与工具参考

1. CV 领域：
   • 医疗：DICOM 标准（ISO 12052）、AAPM TG-100 认证6。
   • 工业：ISO 17025 实验室认证、GB/T 30832 阀门流量系数测试标准14。
2. 预测领域：
   • 金融：巴塞尔协议 III、IFRS 9 会计准则9。
   • 供应链：SCOR 模型、APICS 库存管理标准9。
3. 通用工具：
   • CV 评估：COCO API、mmDetection 框架1。
   • 预测评估：Prophet、TensorFlow Probability3。
   • 可解释性：SHAP、LIME、TreeSHAP12。