元数据过滤放检索前还是检索后:为什么"先向量再过滤"经常召不满
前言
一次检索效果排查,我花了半天时间在怀疑 embedding 模型。现象很朴素:一个明确在文档里存在的问题,检索返回 2 条结果,而且不是最优的那条。
链路是这样的:向量库检索 topK=10,拿到 10 个候选片段,然后在应用层按 tenant_id 和 doc_type 筛一遍。当时觉得这个设计很自然——过滤是业务逻辑,业务逻辑放应用层,职责清晰。
问题在于,那个租户的文档在整库里的占比很低。10 个候选里能命中一两个就算走运。返回 2 条不是 bug,是数学。
改成把过滤条件下推到向量库之后,同一个问题返回 10 条,第一条就是正确答案。花掉的半天时间让我记住一件事:过滤的顺序不是实现细节,它决定了召回的上限。
一、两种顺序在机制上差在哪
1.1 后置过滤:topK 是"过滤前"的预算
后置过滤的语义是:先在全集里找最近的 K 个,再按元数据筛。
设过滤器的选择性为 s(命中过滤条件的向量占全库比例),检索预算为 K,那么在候选里期望命中 K × s 条。这不是近似,这是期望值;实际命中数服从超几何分布,方差还不小。
代入数字就有感觉了:
| 过滤器选择性 | K=10 期望命中 | 命中 ≥3 条的概率(粗略) |
|---|---|---|
| 50% | 5 | 很高 |
| 20% | 2 | 中等 |
| 5% | 0.5 | 低 |
| 1% | 0.1 | 极低 |
结论很直接:只要过滤器的选择性低于 30%,后置过滤就基本没法用了,因为你的 topK 实际上被削掉了一大半。而真实的业务过滤器——单个租户、某个文档类型、最近 30 天——选择性经常在个位数百分比。
还有一种更隐蔽的变体:过滤是做了,但没做满。比如要 10 条,筛完只剩 3 条,接口就返回 3 条。前端不会报错,用户看到的是"只有三条相关资料"。这种"静默降级"比报错难查得多,因为没有异常、没有日志、没有告警。
1.2 前置过滤:先缩集合,但要看清是哪一种"前置"
把过滤条件下推听起来就是"先过滤再检索",但引擎层实际有好几种实现,代价完全不同:
第一种,物理分区。 租户 ID、时间分片这类字段直接做成分区键或独立 collection,检索时只打开对应的分区。这是最理想的情况:候选集从一开始就小,索引结构、图遍历、距离计算全都在缩小后的集合里进行,召回质量不打折,延迟还降了。
第二种,带过滤的图遍历(filterable ANN)。 索引内部在遍历时判断候选点是否满足条件。实现得好的引擎会维护标量索引,把过滤代价压到很低;实现得一般的引擎在低选择性过滤器下会退化成"半暴力"扫描——图上的近邻边大量指向被过滤掉的点,遍历效率骤降。表现出来就是:召回对了,延迟涨了。
第三种,内部放大候选预算。 引擎先按放大的 search_k 取候选,再过滤,最后按需补取。这是最普遍的折中方案,本质上是把"后置过滤"搬进引擎内部,并在参数上做了补偿。它能不能召满,取决于那个放大系数够不够——而放大系数通常要你手动给。
我的经验是:别假设引擎会替你算这件事。 参数没显式给的时候,很多引擎用的是默认值,那个默认值是给"过滤条件形同虚设"的场景准备的。
1.3 不同存储的语义差异
大致分三类,判断标准是"谁能决定候选集":
- 专用向量库:过滤通常是查询的一部分,支持标量索引、分区,也会暴露放大参数。能力最强,但参数语义要自己确认。
- PG 系(关系库加向量扩展):过滤就是 SQL 的
WHERE,和ORDER BY 距离并存,走不走索引取决于查询计划和统计信息。好处是语义透明、可以用EXPLAIN看;坏处是选择性判断交给 planner,偶尔会给出反直觉的计划。 - 内存型 ANN 库(hnswlib 这类):核心接口只做"最近邻",过滤得靠调用方自己放大
k再筛。它不背这个锅,你也别指望它。
判断自己踩的是哪种:把过滤条件设为"全库都满足"(选择性 100%),看返回条数和延迟;再设为选择性 1%,再看。如果条数掉了而延迟没降多少,说明过滤是后置的,成本还在那儿。
二、三种"召不满"要分清,只有一种是真 bug
2.1 空结果
一条都没有,最容易发现。常见成因:K 太小加上选择性低、过滤器字段写错(字符串和整数比较、枚举值大小写)、时间范围用了本地时区而库里存的是 UTC。第三种我在跨时区数据上见过不止一次——差了 8 小时,把边界上的文档全切掉了。
2.2 条数不足,但返回的都相关
这是"过滤后不足 K 条",严格说不是 bug,是配置。危险在于它会伪装成正常返回。处理方式:让接口把 returned / requested 暴露出来,低于某个比例就打点告警。指标比日志靠谱,因为这种降级不产生异常。
2.3 条数够,但漏掉了明显正确的答案
这是最需要警惕的一种,因为它不报错、条数也够,只是正确答案不在里面。
机制是这样的:ANN 是近似的,它沿着图走固定步数就停。如果前若干步遇到的点大量被过滤器排除,遍历预算就消耗在无效点上,真正的答案可能从未被访问到。表现出来就是"库里明明有,检索就是没有"。
这类问题用肉眼看结果永远发现不了——你没有对照组。
还要和另一种原因区分开:分块切坏了。同一个文档被切成两半,答案跨在边界上,两段都不完整。它的表现也是"库里明明有,检索没有",但机制完全不同——修法是改切分,不是改过滤。区分办法很简单:把命中率低的那批查询,用精确检索拿到原文片段,人工看片段本身是否可读、是否包含完整答案。片段完整而精确检索能召到,问题在过滤预算;片段本身就残缺,问题在切分,换 embedding 模型、加大 topK 都救不回来。
2.4 必备的对照组:精确检索
诊断这件事只有一个可靠办法:用暴力精确检索跑同一个查询,对比 ANN 返回。
# 示意:用 numpy 做精确检索,作为 ANN 的对照组
import numpy as np
def exact_search(query_vec, matrix, mask, topk=10):
"""query_vec: (d,), matrix: (n, d) 已归一化, mask: (n,) bool 过滤器"""
idx = np.flatnonzero(mask) # 先过滤,再算距离:这就是"前置"的语义
if idx.size == 0:
return [], []
sub = matrix[idx]
sims = sub @ query_vec # 归一化后点积即余弦
order = np.argsort(-sims)[:topk]
return idx[order].tolist(), sims[order].tolist()
def recall_gap(ann_ids, exact_ids):
"""ANN 相对精确检索的召回缺口,按 top-K 比较"""
ann, exact = set(ann_ids), set(exact_ids)
return {
"ann_only": len(ann - exact), # 近似带来的噪声
"exact_only": len(exact - ann), # 真正的漏召,这才是要修的
"overlap": len(ann & exact),
}
小库直接全量算,几百万条以上就抽样——每次抽几千个查询、每个只跟一个分区比。exact_only 不为零,就说明候选预算不够,而不是模型不行。这一步能立刻把"要不要换 embedding 模型"这个错误方向排掉。
三、怎么选:按选择性决定,而不是按习惯决定
3.1 一条可用的判断线
我把过滤器按两个维度分类,决策就变成了查表:
| 特征 | 建议 | 理由 |
|---|---|---|
| 选择性 > 30%,字段低基数 | 后置过滤够用 | 稀释不严重,实现最简单 |
| 选择性 5%~30%,字段低基数 | 下推 + 显式放大 search_k | 放大 1/s 量级即可补回 |
| 选择性 < 5% | 必须前置:分区或标量索引 | 放大倍数会到几十倍,延迟不可接受 |
| 高基数、强隔离(租户) | 物理分区 / 独立 collection | 隔离最彻底,顺带解决权限问题 |
| 多条件组合、范围查询 | 标量索引 + 前置过滤 | 组合条件放在应用层算不准 |
3.2 候选预算怎么估
如果只能用"放大 + 后置"这条路,预算的估算不能拍脑袋:
# 示意:按选择性自适应放大候选预算
import math
def candidate_budget(k, selectivity, max_multiplier=20.0, conf=0.9):
"""k: 目标返回条数; selectivity: 过滤器命中率(0,1]
用超几何近似,估出让命中数 >= k 所需的候选数。"""
if selectivity <= 0:
return None
if selectivity >= 1.0:
return k
s = max(selectivity, 1e-6)
# 期望命中 = n * s,要求 n * s >= k 再留一点余量
n = math.ceil(k / s * (1 + (1 - conf)))
return min(n, int(k * max_multiplier))
def fetch_with_retry(search_fn, k, selectivity, max_multiplier=20.0):
"""按预算检索,不足则翻倍补取,直到够数或用尽预算"""
budget = candidate_budget(k, selectivity, max_multiplier)
got, seen = [], set()
while budget >= k:
batch = search_fn(budget)
for doc in batch:
if doc["id"] not in seen:
seen.add(doc["id"])
got.append(doc)
if len(got) >= k:
break
budget *= 2
return got[:k]
两个坑要注意:max_multiplier 一定要设上限,翻倍补取在极端选择性下会把延迟推到不可接受——宁可返回不足并告警,也不要让一个请求拖住线程池。另外 selectivity 得有个来源,我的做法是在写入时按"分区 + 时间桶"统计并缓存,隔一段时间刷新,别每个请求现算。
3.3 两级过滤:物理隔离 + 逻辑精筛
真实业务里过滤器很少只有一个。我最后用的是两级:
- 第一级,分区键:租户、大类目这种"永远在查询里出现"的字段,做成分区。它把候选集缩小两三个数量级,且不依赖任何参数调优。
- 第二级,标量过滤:时间范围、标签组合、状态,交给引擎的标量索引,在分区内部前置过滤。
- 第三级,后置精筛:需要跨字段计算才能判断的条件(比如权限继承、内容审核状态),留在应用层做。这一级的选择性通常很高——因为它筛的是已经相关的少量结果——所以稀释问题不存在。
这个结构的好处是把"高选择性、强隔离"和"低选择性、需计算"两类条件分开了,各用各的机制,不用指望一个参数解决所有问题。
3.5 多路召回时,过滤要跟着每一路走
如果链路里除了向量召回还有一路关键词召回(BM25 之类),过滤不能只在融合之后做。
原因是两路的候选规模和分布不同:向量那一路你可以靠放大预算补,关键词那一路的候选数通常由查询词的区分度决定,跟 topK 没关系——一个只出现在少数文档里的词,命中数天然就少,再过一遍低选择性过滤器,很容易一路归零。融合的时候如果某一路是空的,权重就全压到另一路上,融合的意义也就没了。
做法是每路召回各自带过滤,各自保证最小返回数,然后在融合层做加权;融合之后再跑需要计算的精筛。这样即使某一路被过滤器打空,也能从指标上看出来(该路的最小返回数没满足),而不是等到最终结果变差再回头找原因。
3.6 过滤条件也会影响缓存
还有一个容易被忽略的连带效应:检索结果的缓存键要包含过滤条件。如果键里只放查询文本,不同租户、不同时间范围会互相命中缓存,轻则结果不对,重则越权读到别人的片段。反过来,如果键里塞了完整的过滤条件(尤其是时间范围这种每次都变的字段),缓存命中率会掉到接近零。
折中的做法是把过滤条件归一化成一个"过滤指纹"——租户和类型这类稳定字段进键,时间范围按天或按小时取整再进键。要么让缓存失效得快,要么让键粗一点,中间地带是最危险的。
3.4 顺便说一句权限
多租户场景里,过滤器还兼着权限边界的作用。这时候"后置过滤"就不只是召回问题了:如果检索时把别的租户的数据取到了应用层再筛掉,数据已经出了库,日志、缓存、异常堆栈都可能带上它。过滤放在哪一层,同时也是隔离放在哪一层。 这一点比召回率重要。
四、上线前的检查清单
- 列出所有过滤器,逐个估算选择性(用库里的实际分布,不是凭感觉)
- 把选择性 < 5% 的过滤器找出来,确认它们是分区还是标量索引
- 确认引擎的候选放大参数是显式配置的,不是默认值
- 拿 50 到 100 个真实查询,跑 ANN 与精确检索对照,看
exact_only是否为 0 - 接口暴露
returned / requested比例并打点,低于阈值告警 - 时区、枚举值、类型一致性做一次全量校验
- 极端选择性下压测延迟,确认有上限保护而不是无限翻倍
做了什么
这篇的核心结论来自一次真实的检索排查:后置过滤 + 低选择性租户过滤器,导致 topK 被稀释、返回条数不足且丢掉最优答案。我先怀疑了 embedding 模型,最后是靠"把过滤下推到库里"和"用暴力精确检索做对照"定位的。文中的选择性—期望命中表是按超几何期望算的推导,不是某次压测的实测数据;延迟表现那一句"召回对了延迟涨了"是观察到的定性现象,没有具体百分比。
两段代码里,精确检索对照那段我是实际跑过的(小规模、纯 numpy、验证漏召存在),候选预算那段是重写后的逻辑骨架,max_multiplier 的取值需要按自己引擎的延迟曲线定,别照抄。
一些体会
- "检索不到"先分三件事:库里没有、过滤器把它筛掉了、ANN 没走到它。这三件事的修法完全不同,而肉眼看结果永远分不出来,必须有精确检索做对照组。
- topK 是个预算,不是个愿望。 写下
topK=10的时候要问:这是在过滤前还是过滤后数 10 条?答案不同,实现差一个数量级。 - 别相信引擎的默认参数。 放大系数、
ef、nprobe这类参数,默认值都是给"过滤条件很宽松"的场景准备的,你的场景大概率不是。 - 选择性要量化。 "这个租户数据不多"这种判断没有信息量,
s = 0.8%才有。有了这个数,用不用下推、放大几倍,都是可以直接算的。 - 过滤层就是权限层。 在应用层筛掉的数据,其实已经取出来了。这条在召回率之外,值得单独设计一次。
- 点赞
- 收藏
- 关注作者
评论(0)