企业 AI 知识库如何评测？从 RAG 召回到答案溯源的实践方法

一、背景：为什么知识库接入大模型后，回答还是不准确？

随着大语言模型的发展，越来越多企业开始建设自己的 AI 知识库，通过 RAG（检索增强生成）技术，将企业内部文档、技术规范、产品资料等知识接入大模型，实现自然语言问答。

但在实际应用中，经常会遇到一些问题：

• 知识库中明明存在相关内容，大模型却回答不出来。
• 模型给出的答案看起来很合理，实际却存在事实错误。
• 回答内容基本正确，但引用的文件、章节或条款不准确。
• 同一个问题多次提问，得到的答案存在明显差异。
• 引入知识图谱后，系统复杂度增加，但回答质量并没有明显提升。

这说明：企业知识库的质量不能仅通过回答是否流畅来判断，而需要建立一套可量化、可复现的评测体系。

二、RAG 系统的基本工作流程

一个典型的 RAG 系统主要包含以下环节：

1. 文档解析：将 PDF、Word 等文档转换为机器可处理的内容。
2. 文本切分：根据语义或固定长度将文档拆分为知识片段。
3. 向量化：通过 Embedding 模型将文本转换为向量。
4. 知识检索：根据用户问题召回相关知识片段。
5. 重排序：对召回结果进行相关性排序。
6. 答案生成：将检索结果交给大模型生成最终回答。

其中任何一个环节存在问题，都可能影响最终的回答质量。

例如，文档解析时丢失表格信息，即使向量检索和大模型生成能力很强，也无法恢复已经丢失的关键数据。

因此，RAG 评测不仅需要关注最终答案，还需要分析中间环节。

三、企业知识库应该评测哪些指标？

建议将评测分为四个维度。

1. 知识召回能力

核心问题是：系统是否找到了回答问题所需要的知识？

可以使用 Recall@K 指标衡量系统在前 K 个检索结果中召回相关知识的情况。

对于技术规范类知识库，还可以进一步评价关键证据覆盖率。

例如，一个问题需要依据三个规范条款才能完整回答，但系统只检索到其中两个，那么即使生成的回答比较流畅，也可能存在内容遗漏。

2. 答案准确性

重点判断最终回答是否与权威知识一致。

可以从三个方面检查：

• 事实是否正确。
• 技术参数、适用条件是否准确。
• 是否存在缺少依据的推断。

对于高风险专业场景，不能只依赖另一个大模型自动评分，还应加入人工专家复核。

3. 依据可追溯性

对于企业级知识库，答案正确还不够，最好能够追溯到原始文件。

例如，在工程建设领域，用户询问某项施工技术要求时，系统不仅需要回答具体内容，还应提供规范名称、对应条款及原始依据。

需要特别区分两个概念：

答案正确率不等于引用准确率。

即使答案本身正确，如果引用的规范版本错误，或者引用条文无法支持相应结论，仍然可能影响用户信任。

4. 响应效率

除了质量，还需要关注系统的响应效率。

建议记录：

• 检索耗时
• 重排序耗时
• 大模型生成耗时
• 端到端响应耗时

实际应用中，可以结合 P50、P95 等延迟指标分析不同场景下的用户体验。

四、基础 RAG 与知识图谱增强 RAG 如何比较？

知识图谱能够通过实体、关系等结构化信息，帮助系统理解知识之间的关联。

例如，在技术规范知识库中，可能存在以下关系：

• 规范 A 引用了规范 B。
• 新版规范替代旧版规范。
• 某项技术要求适用于特定工程类型。
• 某个技术术语与多个专业概念存在关联。

这些问题可能需要跨文档检索和关系推理，单纯依靠向量相似度不一定能够稳定处理。

但需要注意：知识图谱并不必然优于基础 RAG。

对于普通事实查询，基础 RAG 可能已经具有较好的效果。

因此，建议按照问题类型分别测试：

通过分类评测，才能判断知识图谱究竟在哪些问题上产生了实际价值。

五、一套可落地的评测流程

第一步：建立标准问题集

建议从真实业务问题中抽取测试样本，并按照问题类型分类。

每一道测试题至少包含以下信息：

• 问题内容
• 所属知识领域
• 标准答案或关键答案点
• 正确引用依据
• 问题难度
• 评测类型

标准答案应经过人工确认，避免把未经验证的大模型回答当成评测基准。

第二步：统一测试条件

比较不同 RAG 方案时，应尽量保持以下条件一致：

• 知识库的数据来源与版本
• 测试问题集
• 大模型及生成参数
• 评价标准
• 测试次数

尤其需要避免不同系统使用不同规模或不同版本的知识库，否则结果可能受到数据差异影响。

第三步：区分检索评测与端到端评测

检索评测主要检查：系统是否找到了正确的知识依据。

端到端评测主要检查：用户最终得到的答案是否准确、完整、可追溯。

两者应同时保留。

如果检索结果正确，但最终答案错误，问题可能出在大模型生成环节。

如果检索阶段没有找到正确内容，则应该优先检查文档解析、切分、索引和召回策略。

第四步：分析失败案例

除了统计平均分，更重要的是分析错误类型。

可以建立以下错误分类：

1. 文档解析错误
2. 知识召回失败
3. 召回内容不完整
4. 多文档信息混淆
5. 大模型生成错误
6. 引用依据错误
7. 规范版本识别错误

每一种错误类型，都应该对应不同的优化方向。

六、从产品角度看，如何建立持续优化机制？

对于企业 AI 知识库，评测不应该只是上线前的一次性测试。

更合理的方式是建立持续迭代机制：

收集真实问题 → 构建评测集 → 执行评测 → 归类失败原因 → 针对性优化 → 回归测试。

需要特别关注两个方面。

第一，建立稳定的回归测试集。当知识库更新、Embedding 模型调整或检索策略修改时，能够快速判断新版本是否引入质量退化。

第二，区分数据质量问题和模型能力问题。

如果原始文档解析不完整，单纯更换更强的大模型通常无法解决根本问题。

对于包含大量专业标准、技术条款的企业知识库，数据治理、版本管理、文档结构化和引用关系维护