RAG 增量索引一致性:文档更新后检索为何返回旧内容

举报
上云 发表于 2026/11/17 09:32:14 2026/11/17
【摘要】 从"改了文档仍返回旧内容"的线上故障切入,拆解写入、更新、删除三条路径上向量索引与源数据的时序不一致来源,给出 outbox 派生同步、软删除标记、版本水位与查询侧可见性过滤的可落地规则,并区分 Strict 与 Relaxed 两种可见性

用户把套餐价格从 99 改成 199,两小时后客服机器人仍然回答 99——这类工单在 RAG 系统上线三个月后几乎必然出现。问题很少出在向量化环节,出在源库、索引、召回三方各自持有一个"当前版本",谁都不认谁的。下面按写入、更新、删除三条路径拆开看断点在哪,以及怎么用软删除标记、版本水位、查询侧过滤把一致性重新拉回来。

先明确一致性的判据,否则没法验收

大多数团队对"索引一致"的定义是模糊的——数据看起来一样就算一致。这个定义在 RAG 里会失效,因为不一致不会抛错,只会输出一个语法通顺、事实错误的答案。用户和监控都很难发现。

可验收的定义只有一条:在任意时刻 t,一次检索返回的 chunk 集合,必须等于源库在某个已提交快照上的派生结果。注意是"某个已提交快照",不是"最新快照"。要求检索强一致到最新,等于要求向量库参与源库的事务,成本不可接受。工程上真正要保证的是三件事:

要求 含义 违反后的现象
不返回已删除内容 源库 status=deleted 后,任何检索不得命中 已下架的产品文档仍被引用
不返回已被覆盖的旧版本 同一 doc 只允许一个版本可见 价格/条款答旧值
允许短暂不可见 新版本索引完成前,文档可缺席 更新后几分钟搜不到(可接受)

第三条是关键让步。宁可不可见,不可见错——这条规则决定了后面所有设计的走向。

三条路径上的断点各不相同

把故障归因为"向量库没同步"太粗糙。写入、更新、删除的失效机制完全不同,需要不同的补丁。

写入路径:双写半失败。 典型实现是 db.insert(doc) 之后 vector.upsert(chunks)。第二步超时、抛异常、进程被 kill,源库有文档、索引没有 chunk。这类文档在管理后台看得见,在检索里永远搜不到。用户感知是"我明明上传了"。

更新路径:非原子的删旧插新。 文档改动后重新切分,chunk 数量和 ID 几乎一定变化。常见做法是先按 doc_id 删旧 chunk 再插新的。两步之间崩溃 → 文档彻底消失;第一步失败 → 新旧 chunk 共存,检索时按相似度取 top-k,旧版本因为措辞更贴近 query 反而更容易被选中。开头那个价格故障就是这一种:新版 chunk 已经写入,旧版 chunk 没删干净,top-3 里两条旧一条新,生成模型自然取了多数。

删除路径:向量库缺乏反向索引语义。 源库 DELETE 之后,需要一个任务去向量库按 doc_id 删。这个任务通常是异步的,会重试,也可能静默丢失。更麻烦的是底层行为:HNSW 类索引的删除普遍是打 tombstone 标记,查询时过滤,但被标记的节点仍占用图结构,只有当 segment 合并或 compaction 之后才真正回收。Elasticsearch 的 kNN 搜索、pgvector 的 HNSW 都是这个模型,Milvus 的 delete 也是逻辑删除加后续 compaction。也就是说,即使在向量库执行了 delete,短时间内仍可能被召回,尤其当 num_candidates / ef 参数偏小时,过滤掉的候选不会自动补足,召回质量还会掉一截。

这三条路径的共同点:都试图在写入侧保证一致性,而写入侧恰恰是最不可靠的一环。

把向量库降级为派生视图

第一个结构性决策:源库是唯一真相,向量索引是可随时重建的派生数据。这个定位一旦确立,所有同步手段都从"保证成功"退化为"保证最终重放成功"。

落地用 outbox 表 + 单调版本号,而不是业务代码里直接调向量库:

CREATE TABLE kb_doc (
  doc_id      BIGINT       PRIMARY KEY,
  version     BIGINT       NOT NULL,   -- 每次内容变更 +1,单调递增
  status      TINYINT      NOT NULL,   -- 0=active 1=deleted
  content_ref VARCHAR(255) NOT NULL,   -- 指向对象存储的正文
  updated_at  DATETIME(3)  NOT NULL
);

CREATE TABLE kb_doc_outbox (
  id          BIGINT AUTO_INCREMENT PRIMARY KEY,
  doc_id      BIGINT      NOT NULL,
  version     BIGINT      NOT NULL,
  op          VARCHAR(16) NOT NULL,    -- upsert / delete
  created_at  DATETIME(3) NOT NULL,
  UNIQUE KEY uk_doc_ver (doc_id, version)
);

业务事务里只做两件事:更新 kb_doc(version+1)、插入一行 outbox。两者同库同事务,天然原子。索引 worker 消费 outbox,切分、embedding、写向量库,成功后标记该行已处理。

这样做的收益很直接:原子性问题被压缩到单库事务内解决;索引侧的任何失败都可以无限重放;(doc_id, version) 的唯一约束让重复消费变成幂等操作,worker 崩了重启也不会写出两份 chunk。

有一点必须注意:worker 必须按 doc_id 串行。同一个文档的两个版本被两个 worker 并行处理,v17 可能比 v16 后落库,最终索引里留下的是旧版本。用 doc_id 哈希到固定分区,或者消费时对 doc_id 加分布式锁,别让它并发。

软删除与版本水位:让每个 chunk 自带生命周期

第二个决策:不做物理删除驱动的可见性,改为 metadata 驱动的可见性。每个 chunk 写入时必须携带完整的身份信息:

{
  "chunk_id": "10231#3",
  "doc_id": 10231,
  "doc_version": 17,
  "chunk_seq": 3,
  "tenant_id": "t_88",
  "index_epoch": "embed-v3",
  "indexed_at": "2025-03-11T10:22:31.402Z"
}

四个字段各有分工,缺一个就会留一个洞:

  • doc_version:与 kb_doc.version 对齐,是查询侧过滤的主键。
  • index_epoch:embedding 模型版本。模型升级时新老向量距离不可比,混在一起检索会出诡异结果。查询侧只接受等于当前 epoch 的 chunk,老 epoch 由后台任务逐步重建。
  • indexed_at:对账与延迟观测用。
  • tenant_id:多租户过滤,同时兼作分区键。

关于软删除标记放哪,有个容易踩的选择:把 deleted=true 写进向量库 metadata。这看起来最自然,但不该作为主要手段——因为删除动作本身就依赖一次到向量库的成功写入,网络抖一下这个标记就丢了,而这个标记丢失的后果是"已删文档继续被召回",是最严重的一类错误。

正确做法是可见性判定不依赖向量库。删除时只做一件事:UPDATE kb_doc SET status=1, version=version+1。这一步在本库事务内,绝不可能失败。向量库里的 chunk 删不删、什么时候删,只影响存储成本,不影响正确性。物理删除交给后台延迟任务,允许它慢、允许它重试、允许它暂时失败。

这就是把可见性控制和存储回收彻底解耦。前者是强一致的、同步的、在源库完成的;后者是最终一致的、异步的、可失败的。

查询侧的可见性过滤是最后一道闸

写侧做到上面这些,仍然会有窗口期:新版本 chunk 还没索引完,旧版本 chunk 还在向量库里。这个窗口只能由读取侧兜住。

召回后的过滤逻辑大致是这样,注意批量回表而不是逐条查:

def filter_visible(hits, doc_meta, current_epoch, top_k):
    """hits: 向量库召回结果;doc_meta: {doc_id: (version, status)}"""
    kept = []
    for h in hits:
        if h["index_epoch"] != current_epoch:
            continue                      # 模型版本不符,整体丢弃
        meta = doc_meta.get(h["doc_id"])
        if meta is None:
            continue                      # 源库查不到,视为已删除
        version, status = meta
        if status == 1:
            continue                      # 软删除
        if h["doc_version"] != version:
            continue                      # 旧版本,丢弃并登记待重建
        kept.append(h)
    return kept[:top_k]

doc_meta 通过 SELECT doc_id, version, status FROM kb_doc WHERE doc_id IN (...) 一次拿回。召回时多取一些候选(比 top_k 放大 3~5 倍)来抵消过滤损耗,尤其在被 tombstone 污染的索引上。

这里有一个必须显式做的业务决策:严格相等会让文档在更新窗口内完全不可见。如果这个文档是唯一的答案来源,用户会得到"未找到相关信息"。两种策略按内容类型分级:

策略 判定规则 适用场景 代价
Strict chunk.doc_version == doc.version 价格、条款、合规、接口文档 更新窗口内文档缺席
Relaxed 允许 doc_version == version - 1,并在答案侧标注"该文档有更新版本" 一般知识、FAQ、内部 Wiki 短窗口内可能答旧内容
Epoch-only 仅校验 index_epoch 低价值长尾内容 一致性最弱

Strict 适合错误代价高的内容,Relaxed 适合缺席代价高的内容。分级标准要写进配置,别让每个业务方自己拍。

顺带说一个容易忽略的点:Relaxed 策略下"标注文档有更新版本"必须在生成阶段落地,而不是只在日志里记一笔。生成 prompt 里带上 stale=true 提示,让模型输出"以下信息可能已过期,建议核实",这才是对用户真正有用的降级。

用对账和延迟指标收尾,而不是靠重试次数

前面所有机制都依赖"最终会追上",所以必须能观测到追没追上。三个指标足够:

  1. 索引滞后:max(now - outbox.created_at) WHERE processed = 0,按分位数看,超过阈值告警。
  2. 版本漂移文档数:源库 version 与索引中最大 doc_version 不等的 doc 数量。这个指标直接对应"用户可能看到旧内容"的规模。用离线对账任务每小时扫一遍。
  3. 孤儿 chunk 数:向量库中存在但 kb_doc 里 status=1 或不存在的 chunk。只影响存储,但持续增长说明删除任务卡住了。

对账任务的修复动作要收敛:发现漂移就重新投递 outbox(幂等,重复投递无害),不要在对账脚本里直接操作向量库——否则又多了一条绕过 outbox 的写入路径,前功尽弃。

落地建议

  1. 先把删除路径改掉。删除是三类故障里后果最严重的(已下架内容继续被引用),改造成本却最低:源库置 status 标记即可,物理删除改为异步延迟任务,查询侧加一条 status 过滤就能立刻止血。
  2. 给 chunk 补齐 doc_id / doc_version / index_epoch 三个字段。存量数据用后台任务批量回填,回填期间查询侧对缺失字段的 chunk 采取宽松策略,回填完成后切严格。
  3. 用 outbox 替代业务代码直连向量库,worker 按 doc_id 串行消费,(doc_id, version) 加唯一约束保证幂等。这一步做完,写入路径的丢数据问题基本消失。
  4. 按内容类型确定 Strict / Relaxed 分级,把规则写进配置而不是散落在业务代码里;Relaxed 策略必须在生成 prompt 中体现 stale 提示,否则等于没做。
  5. 上线索引滞后与版本漂移两个监控指标,先观察一周再定告警阈值。没有这两个数字,后面所有一致性讨论都只能靠感觉。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。