AI自动化省了工时，为什么项目仍可能不值得做？

AI自动化省了工时，为什么项目仍可能不值得做？

摘要：AWS近期公开Agentic Automation商业价值框架，提出不能沿用RPA时代只算节省工时的ROI方法。对测试与质量负责人而言，新增的不只是模型费用，还有监督、异常恢复、评测维护和责任解释；同时也有更快响应、风险降低与能力扩展等价值。本文给出一套适合立项和复盘的五本账。

一个理赔Agent把人工录入从十分钟缩短到两分钟，立项汇报很容易写成“单笔节省八分钟”。可上线后还需要抽检、处理不确定结果、维护评测集、回滚错误动作，并为客户投诉还原Trace。若这些工作没人计入，项目看起来节省工时，质量团队却越来越忙。

这是基于AWS公开的Agentic Automation商业价值框架构造的理赔场景，不是AWS披露的客户事故。官方文章指出，RPA时代以节省工时为中心的ROI模型会漏掉Agent自动化的价值与成本。测试团队可以把这个观点转成五本账，而不是只讨论模型准确率。

第一本：直接成本

模型Token、工具调用、向量检索、沙箱、日志存储和人工复核都要按单任务计量。不要用平均值掩盖长尾：复杂案件可能触发更多轮推理和工具调用，P95成本比均值更能暴露问题。

第二本：失败成本

失败不只是重跑费用。错误退款、错误承诺、漏掉风险提醒会带来资金、合规和信任损失。测试团队应为高风险动作定义损失等级和最大可接受频率，使“偶尔会错”能进入立项模型。

第三本：监督成本

人工确认、抽检、申诉和异常恢复必须计时。特别要区分全量确认与风险分层确认：如果所有任务都需人工完整复核，Agent可能只是把输入工作换成了检查工作。

第四本：机会价值

Agent可能不直接省人，却把响应从隔天缩短到当日，覆盖夜间请求，或让团队处理以前因成本过高而放弃的长尾任务。这些价值应有业务指标支持，不能用“体验更好”带过。

第五本：可控性资产

评测集、Trace、回滚机制、权限策略和异常样本库，是项目形成的长期资产。它们能降低下一次模型升级和能力扩展的成本。反过来，没有这些资产，今天的演示收益会在每次升级时重新支付。

立项时做一张反事实表

把“没有Agent时”“有Agent且人工全审”“有Agent且风险分层”并排比较，分别填任务量、时延、错误成本、人工分钟数与基础设施成本。只有与现实替代方案比较，ROI才有意义。不要把Agent与“什么都不做”相比，也不要假设被节省的分钟都能变成可兑现收入。

上线后每月复盘一次分母：任务是否越来越难，人工是否把简单件转走，导致Agent处理集发生偏移。若样本结构变了，准确率和成本趋势不能直接横比。

先做“影子运行”，再承诺节省

正式替代人工前，让Agent在不产生真实副作用的情况下并行运行两周：它给出决策和动作计划，人仍按原流程处理。随后比较两者在相同任务上的耗时、错误、升级和解释成本。影子运行不能证明长期收益，却能发现演示数据里没有的长尾。

尤其要统计“人为了审Agent花了多久”。如果复核者必须重新阅读全部材料，自动化只把执行成本换成验证成本。可以尝试风险分层：低风险且规则确定的任务抽检，中风险任务关键字段确认，高风险任务全审。每一层都要有退出条件，连续异常时自动提高人工比例。

质量指标必须连接业务后果

“回答准确率90%”很难进入经营决策。把它拆成可解释后果：每千单错误承诺数、每百次自动动作撤销数、需要人工接管比例、异常平均恢复时间、无法回放的投诉数。测试指标只有能连接成本、风险或客户体验，才适合进入ROI。

同时设置止损线。例如未授权动作必须为零；高风险错误一旦出现就暂停自动执行；人工接管率连续三周高于阈值则回到半自动模式。阈值应由业务损失决定，而不是为了让报表好看临时调整。

别忽略退出成本

模型、供应商或接口变化时，团队能否回到人工流程？历史任务是否能回放？评测集能否迁移到新方案？如果所有业务规则只写在某个Agent Prompt里，替换成本会非常高。立项时应要求规则、数据、Trace和门禁保持可导出，关键动作保留确定性接口。

项目复盘还应写清哪些收益尚未证实。响应更快不一定带来转化，覆盖夜间请求不一定创造增量，员工释放的时间也未必被重新利用。把推测与已观测数据分开，反而能让后续试验更可信。

测试负责人在这套框架里的价值，不是替财务算账，而是让“失败、监督和不可解释”进入商业决策。一个项目可能工时收益一般，却显著降低高风险遗漏；也可能节省很多时间，却因异常恢复昂贵而不值得扩张。能把这两个方向同时说清，才是AI质量管理真正需要的判断力。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。