RAG 评估 0.91 的 faithfulness 还在幻觉：问题出在“接缝”上

一个法律研究团队部署了一套 RAG 管道，faithfulness 评分 0.91。六周后他们发现，每六个客户回复中就有一条遗漏了关键判例信息，多跳查询的 context recall 已经悄悄掉到 0.62，而 faithfulness 从来没有报警。这不是评估工具坏了，是评估层测量了错误的边界。

大多数 RAG 评估栈把检索和生成拆开测：检索侧看 precision、recall、NDCG，生成侧看 faithfulness、answer relevancy，然后报一个较高的数字。但失败恰恰发生在两者之间的接缝上。检索成功找到了正确文档，生成器却选择了排名更低的段落，或者从多个片段的碎片里拼出了一个“忠实于自己选中的上下文”的答案——faithfulness 给高分，因为答案确实支持它引用的片段，但那个片段本身就不是最关键的那一条。2026 年对生产 RAG 系统的分析显示，47% 到 67% 的查询中，生成器忽略了排名最高的检索文档；检索准确率只能解释 RAG 输出质量方差的 60%，剩下 40% 取决于上下文利用率。

更隐蔽的是“静默失败”。一项受控故障注入研究向 RAG 管道注入了 12 类故障：过期索引、分块边界损坏、嵌入不匹配、top-k 截断、重排序器禁用、干扰项注入、上下文溢出、上下文洗牌、提示漂移、引用抑制、回退绕过、重复源膨胀。在 146,016 条执行轨迹中，有若干类故障保持了答案层面的可接受性，同时却降低了证据支持度、引用正确性、弃答行为或来源保留。换句话说，最终答案看起来流畅、相关、自信，但检索到的证据已经过期、被截断、引用指向了不支持结论的源，或者系统悄悄走了不检索的回退路径。只看最终答案的检查器，包括自动评分和人工抽检，都看不到这些更深层的缺陷。

这个问题不是靠“换一个更好的评估模型”能解决的。一项对 48 个来源的结构化综述梳理出 33 种 RAG 失败模式，覆盖摄入、表示、检索、生成、评估、部署和 Agentic 编排七个阶段。研究发现了一种研究注意力的不对称：检索和生成失败被相对充分地研究，而表示、评估和 Agentic 编排失败尽管在生产中频繁发生，却严重缺乏实证证据；12 种失败模式没有任何专门的同行评审实证研究，其中 8 种 Agentic 模式全部落在“证据荒漠”里。

对正在运营 RAG 系统的团队来说，一个可操作的调整是：把评估从“答案级”下沉到“证据级和引用级” 。不只看 faithfulness 分数，还要看检索到的证据是否真的支持最终答案、引用是否指向了支持结论的片段、弃答行为是否在证据不足时被触发。多层复合质量门在受控故障下表现优于单层检查，但前提是这些门的阈值必须按你的部署环境校准，而不是直接套用论文里的操作点。Faithfulness 0.91 说明生成器忠实于它选择的上下文；它不说明它选择的上下文是对的。这两件事之间的缝隙，才是 RAG 在生产里反复出错的地方。