用一份 CSV 做好 Agent 配对消融:先统一数据,再讨论删组件
判断 RAG、记忆或多智能体是否值得保留,首先要保证两组结果可以比较。完整配置跑简单任务、精简配置跑困难任务,再比较平均分,差异可能来自任务本身。一份明确的 CSV 数据契约,可以把这种混淆挡在分析之前。
每行代表一次运行
最小格式可以只保留五列:
sample_id,config,quality,latency_ms,cost
s1,full,92,1200,0.12
s1,no_RAG,88,900,0.08
s2,full,80,1500,0.15
s2,no_RAG,79,1100,0.10
以上数值是演示数据,仅用于说明格式和计算,不能证明 RAG 在真实业务中可以删除。
sample_id 标识同一个评测任务;config 标识配置,可约定为 full、no_RAG、no_memory 和 no_multiagent。quality 使用统一的 0–100 分评分标准,latency_ms 固定为毫秒,cost 使用同一种计价单位,例如元。每个 sample_id + config 只能出现一次。需要重复运行时,可以使用 s1_r1、s1_r2 等配对标识,并在实验记录中保留任务、重复轮次与配置的对应关系。
五列之外,还应有一份简短的实验说明:任务集版本、模型版本、评分规则、提示词、成本口径、执行日期,以及各配置实际移除的组件。它们不一定都放进 CSV,但必须能够追溯。
只比较完整配对
比较 full 与 no_RAG 时,只使用两者都存在的 sample_id。假设某任务只有基线结果,就不能拿另一个任务的消融结果补齐,也不能把缺失值写成零。
报告应同时给出基线样本数、消融样本数、完整配对数和缺失情况。每种消融配置的配对集合可能不同,因此两个“节省比例”也可能来自不同任务子集,不能直接据此给组件排序。
运行失败尤其需要单独记录。若事先规定失败计零分,就按该规则评分;若属于测量缺失,应标记缺失原因,并披露失败数量。不要悄悄删掉慢请求或失败请求,再把剩余结果称为整体效果。
分数差和节省比例使用不同口径
在同一配对集合上,先计算两组均值,再计算:
质量下降 = 基线平均质量 − 消融平均质量
耗时节省比例 = (基线平均耗时 − 消融平均耗时) / 基线平均耗时
成本节省比例 = (基线平均成本 − 消融平均成本) / 基线平均成本
演示数据中,质量从平均 86 分变为 83.5 分,下降 2.5 分。若指标本身是成功率,从 86% 变为 83.5% 才称为下降 2.5 个百分点,两者要区分。
上述节省比例是“均值之比”,不等于逐任务节省比例的平均值。报告应写清公式。基线平均成本或耗时为零时,对应比例无法计算,应显示“不适用”,而不是零或无穷大。
最小流程也要保留不确定性
先检查列名、配置取值、数字范围、重复键和单位,再做配对,最后导出指标与缺失清单。第一版工具做到这里就足以支持初步判断,无需先加入复杂看板或自动优化器。
业务可接受的质量下降阈值应在查看结果前确定,关键任务还要单独检查错误类型。平均质量满足阈值且成本下降,只能让某个配置成为进一步验证的候选。小样本、随机生成波动和任务覆盖不足都可能改变判断;仅有这些均值不能宣称统计显著。
最终删除组件之前,还需用真实任务复测,并检查组合影响:单独去掉记忆可接受、单独去掉 RAG 可接受,不代表两者同时去掉也可接受。数据契约的价值,是让每一步精简都有可核对的依据。
- 点赞
- 收藏
- 关注作者
评论(0)