RAG 增量索引一致性:文档更新后检索为何返回旧内容
用户把套餐价格从 99 改成 199,两小时后客服机器人仍然回答 99——这类工单在 RAG 系统上线三个月后几乎必然出现。问题很少出在向量化环节,出在源库、索引、召回三方各自持有一个"当前版本",谁都不认谁的。下面按写入、更新、删除三条路径拆开看断点在哪,以及怎么用软删除标记、版本水位、查询侧过滤把一致性重新拉回来。
先明确一致性的判据,否则没法验收
大多数团队对"索引一致"的定义是模糊的——数据看起来一样就算一致。这个定义在 RAG 里会失效,因为不一致不会抛错,只会输出一个语法通顺、事实错误的答案。用户和监控都很难发现。
可验收的定义只有一条:在任意时刻 t,一次检索返回的 chunk 集合,必须等于源库在某个已提交快照上的派生结果。注意是"某个已提交快照",不是"最新快照"。要求检索强一致到最新,等于要求向量库参与源库的事务,成本不可接受。工程上真正要保证的是三件事:
| 要求 | 含义 | 违反后的现象 |
|---|---|---|
| 不返回已删除内容 | 源库 status=deleted 后,任何检索不得命中 | 已下架的产品文档仍被引用 |
| 不返回已被覆盖的旧版本 | 同一 doc 只允许一个版本可见 | 价格/条款答旧值 |
| 允许短暂不可见 | 新版本索引完成前,文档可缺席 | 更新后几分钟搜不到(可接受) |
第三条是关键让步。宁可不可见,不可见错——这条规则决定了后面所有设计的走向。
三条路径上的断点各不相同
把故障归因为"向量库没同步"太粗糙。写入、更新、删除的失效机制完全不同,需要不同的补丁。
写入路径:双写半失败。 典型实现是 db.insert(doc) 之后 vector.upsert(chunks)。第二步超时、抛异常、进程被 kill,源库有文档、索引没有 chunk。这类文档在管理后台看得见,在检索里永远搜不到。用户感知是"我明明上传了"。
更新路径:非原子的删旧插新。 文档改动后重新切分,chunk 数量和 ID 几乎一定变化。常见做法是先按 doc_id 删旧 chunk 再插新的。两步之间崩溃 → 文档彻底消失;第一步失败 → 新旧 chunk 共存,检索时按相似度取 top-k,旧版本因为措辞更贴近 query 反而更容易被选中。开头那个价格故障就是这一种:新版 chunk 已经写入,旧版 chunk 没删干净,top-3 里两条旧一条新,生成模型自然取了多数。
删除路径:向量库缺乏反向索引语义。 源库 DELETE 之后,需要一个任务去向量库按 doc_id 删。这个任务通常是异步的,会重试,也可能静默丢失。更麻烦的是底层行为:HNSW 类索引的删除普遍是打 tombstone 标记,查询时过滤,但被标记的节点仍占用图结构,只有当 segment 合并或 compaction 之后才真正回收。Elasticsearch 的 kNN 搜索、pgvector 的 HNSW 都是这个模型,Milvus 的 delete 也是逻辑删除加后续 compaction。也就是说,即使在向量库执行了 delete,短时间内仍可能被召回,尤其当 num_candidates / ef 参数偏小时,过滤掉的候选不会自动补足,召回质量还会掉一截。
这三条路径的共同点:都试图在写入侧保证一致性,而写入侧恰恰是最不可靠的一环。
把向量库降级为派生视图
第一个结构性决策:源库是唯一真相,向量索引是可随时重建的派生数据。这个定位一旦确立,所有同步手段都从"保证成功"退化为"保证最终重放成功"。
落地用 outbox 表 + 单调版本号,而不是业务代码里直接调向量库:
CREATE TABLE kb_doc (
doc_id BIGINT PRIMARY KEY,
version BIGINT NOT NULL, -- 每次内容变更 +1,单调递增
status TINYINT NOT NULL, -- 0=active 1=deleted
content_ref VARCHAR(255) NOT NULL, -- 指向对象存储的正文
updated_at DATETIME(3) NOT NULL
);
CREATE TABLE kb_doc_outbox (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
doc_id BIGINT NOT NULL,
version BIGINT NOT NULL,
op VARCHAR(16) NOT NULL, -- upsert / delete
created_at DATETIME(3) NOT NULL,
UNIQUE KEY uk_doc_ver (doc_id, version)
);
业务事务里只做两件事:更新 kb_doc(version+1)、插入一行 outbox。两者同库同事务,天然原子。索引 worker 消费 outbox,切分、embedding、写向量库,成功后标记该行已处理。
这样做的收益很直接:原子性问题被压缩到单库事务内解决;索引侧的任何失败都可以无限重放;(doc_id, version) 的唯一约束让重复消费变成幂等操作,worker 崩了重启也不会写出两份 chunk。
有一点必须注意:worker 必须按 doc_id 串行。同一个文档的两个版本被两个 worker 并行处理,v17 可能比 v16 后落库,最终索引里留下的是旧版本。用 doc_id 哈希到固定分区,或者消费时对 doc_id 加分布式锁,别让它并发。
软删除与版本水位:让每个 chunk 自带生命周期
第二个决策:不做物理删除驱动的可见性,改为 metadata 驱动的可见性。每个 chunk 写入时必须携带完整的身份信息:
{
"chunk_id": "10231#3",
"doc_id": 10231,
"doc_version": 17,
"chunk_seq": 3,
"tenant_id": "t_88",
"index_epoch": "embed-v3",
"indexed_at": "2025-03-11T10:22:31.402Z"
}
四个字段各有分工,缺一个就会留一个洞:
doc_version:与kb_doc.version对齐,是查询侧过滤的主键。index_epoch:embedding 模型版本。模型升级时新老向量距离不可比,混在一起检索会出诡异结果。查询侧只接受等于当前 epoch 的 chunk,老 epoch 由后台任务逐步重建。indexed_at:对账与延迟观测用。tenant_id:多租户过滤,同时兼作分区键。
关于软删除标记放哪,有个容易踩的选择:把 deleted=true 写进向量库 metadata。这看起来最自然,但不该作为主要手段——因为删除动作本身就依赖一次到向量库的成功写入,网络抖一下这个标记就丢了,而这个标记丢失的后果是"已删文档继续被召回",是最严重的一类错误。
正确做法是可见性判定不依赖向量库。删除时只做一件事:UPDATE kb_doc SET status=1, version=version+1。这一步在本库事务内,绝不可能失败。向量库里的 chunk 删不删、什么时候删,只影响存储成本,不影响正确性。物理删除交给后台延迟任务,允许它慢、允许它重试、允许它暂时失败。
这就是把可见性控制和存储回收彻底解耦。前者是强一致的、同步的、在源库完成的;后者是最终一致的、异步的、可失败的。
查询侧的可见性过滤是最后一道闸
写侧做到上面这些,仍然会有窗口期:新版本 chunk 还没索引完,旧版本 chunk 还在向量库里。这个窗口只能由读取侧兜住。
召回后的过滤逻辑大致是这样,注意批量回表而不是逐条查:
def filter_visible(hits, doc_meta, current_epoch, top_k):
"""hits: 向量库召回结果;doc_meta: {doc_id: (version, status)}"""
kept = []
for h in hits:
if h["index_epoch"] != current_epoch:
continue # 模型版本不符,整体丢弃
meta = doc_meta.get(h["doc_id"])
if meta is None:
continue # 源库查不到,视为已删除
version, status = meta
if status == 1:
continue # 软删除
if h["doc_version"] != version:
continue # 旧版本,丢弃并登记待重建
kept.append(h)
return kept[:top_k]
doc_meta 通过 SELECT doc_id, version, status FROM kb_doc WHERE doc_id IN (...) 一次拿回。召回时多取一些候选(比 top_k 放大 3~5 倍)来抵消过滤损耗,尤其在被 tombstone 污染的索引上。
这里有一个必须显式做的业务决策:严格相等会让文档在更新窗口内完全不可见。如果这个文档是唯一的答案来源,用户会得到"未找到相关信息"。两种策略按内容类型分级:
| 策略 | 判定规则 | 适用场景 | 代价 |
|---|---|---|---|
| Strict | chunk.doc_version == doc.version |
价格、条款、合规、接口文档 | 更新窗口内文档缺席 |
| Relaxed | 允许 doc_version == version - 1,并在答案侧标注"该文档有更新版本" |
一般知识、FAQ、内部 Wiki | 短窗口内可能答旧内容 |
| Epoch-only | 仅校验 index_epoch |
低价值长尾内容 | 一致性最弱 |
Strict 适合错误代价高的内容,Relaxed 适合缺席代价高的内容。分级标准要写进配置,别让每个业务方自己拍。
顺带说一个容易忽略的点:Relaxed 策略下"标注文档有更新版本"必须在生成阶段落地,而不是只在日志里记一笔。生成 prompt 里带上 stale=true 提示,让模型输出"以下信息可能已过期,建议核实",这才是对用户真正有用的降级。
用对账和延迟指标收尾,而不是靠重试次数
前面所有机制都依赖"最终会追上",所以必须能观测到追没追上。三个指标足够:
- 索引滞后:
max(now - outbox.created_at) WHERE processed = 0,按分位数看,超过阈值告警。 - 版本漂移文档数:源库 version 与索引中最大 doc_version 不等的 doc 数量。这个指标直接对应"用户可能看到旧内容"的规模。用离线对账任务每小时扫一遍。
- 孤儿 chunk 数:向量库中存在但
kb_doc里 status=1 或不存在的 chunk。只影响存储,但持续增长说明删除任务卡住了。
对账任务的修复动作要收敛:发现漂移就重新投递 outbox(幂等,重复投递无害),不要在对账脚本里直接操作向量库——否则又多了一条绕过 outbox 的写入路径,前功尽弃。
落地建议
- 先把删除路径改掉。删除是三类故障里后果最严重的(已下架内容继续被引用),改造成本却最低:源库置 status 标记即可,物理删除改为异步延迟任务,查询侧加一条 status 过滤就能立刻止血。
- 给 chunk 补齐
doc_id / doc_version / index_epoch三个字段。存量数据用后台任务批量回填,回填期间查询侧对缺失字段的 chunk 采取宽松策略,回填完成后切严格。 - 用 outbox 替代业务代码直连向量库,worker 按 doc_id 串行消费,
(doc_id, version)加唯一约束保证幂等。这一步做完,写入路径的丢数据问题基本消失。 - 按内容类型确定 Strict / Relaxed 分级,把规则写进配置而不是散落在业务代码里;Relaxed 策略必须在生成 prompt 中体现 stale 提示,否则等于没做。
- 上线索引滞后与版本漂移两个监控指标,先观察一周再定告警阈值。没有这两个数字,后面所有一致性讨论都只能靠感觉。
- 点赞
- 收藏
- 关注作者
评论(0)