元数据过滤放检索前还是检索后:为什么"先向量再过滤"经常召不满

举报
yd_232401777 发表于 2026/11/17 09:27:02 2026/11/17
【摘要】 带元数据约束的检索(限定租户、文档类型、时间范围)看着是个小事,实际上是把召回率坑得最隐蔽的一处:先向量检索 topK 再在应用层过滤,等于让 topK 预算被过滤选择性除掉了大半,选择性低的过滤器下经常只剩两三条甚至零条;而正确答案可能压根没进过候选集,看起来却是"库里没有"。本文拆开前置与后置两种顺序在机制上的差别,说清 ANN 索引为什么不会替你处理这件事,给出按选择性估

前言

一次检索效果排查,我花了半天时间在怀疑 embedding 模型。现象很朴素:一个明确在文档里存在的问题,检索返回 2 条结果,而且不是最优的那条。

链路是这样的:向量库检索 topK=10,拿到 10 个候选片段,然后在应用层按 tenant_id 和 doc_type 筛一遍。当时觉得这个设计很自然——过滤是业务逻辑,业务逻辑放应用层,职责清晰。

问题在于,那个租户的文档在整库里的占比很低。10 个候选里能命中一两个就算走运。返回 2 条不是 bug,是数学。

改成把过滤条件下推到向量库之后,同一个问题返回 10 条,第一条就是正确答案。花掉的半天时间让我记住一件事:过滤的顺序不是实现细节,它决定了召回的上限。

一、两种顺序在机制上差在哪

1.1 后置过滤:topK 是"过滤前"的预算

后置过滤的语义是:先在全集里找最近的 K 个,再按元数据筛。

设过滤器的选择性为 s(命中过滤条件的向量占全库比例),检索预算为 K,那么在候选里期望命中 K × s 条。这不是近似,这是期望值;实际命中数服从超几何分布,方差还不小。

代入数字就有感觉了:

过滤器选择性K=10 期望命中命中 ≥3 条的概率(粗略)
50%5很高
20%2中等
5%0.5低
1%0.1极低

结论很直接:只要过滤器的选择性低于 30%,后置过滤就基本没法用了,因为你的 topK 实际上被削掉了一大半。而真实的业务过滤器——单个租户、某个文档类型、最近 30 天——选择性经常在个位数百分比。

还有一种更隐蔽的变体:过滤是做了,但没做满。比如要 10 条,筛完只剩 3 条,接口就返回 3 条。前端不会报错,用户看到的是"只有三条相关资料"。这种"静默降级"比报错难查得多,因为没有异常、没有日志、没有告警。

1.2 前置过滤:先缩集合,但要看清是哪一种"前置"

把过滤条件下推听起来就是"先过滤再检索",但引擎层实际有好几种实现,代价完全不同:

第一种,物理分区。 租户 ID、时间分片这类字段直接做成分区键或独立 collection,检索时只打开对应的分区。这是最理想的情况:候选集从一开始就小,索引结构、图遍历、距离计算全都在缩小后的集合里进行,召回质量不打折,延迟还降了。

第二种,带过滤的图遍历(filterable ANN)。 索引内部在遍历时判断候选点是否满足条件。实现得好的引擎会维护标量索引,把过滤代价压到很低;实现得一般的引擎在低选择性过滤器下会退化成"半暴力"扫描——图上的近邻边大量指向被过滤掉的点,遍历效率骤降。表现出来就是:召回对了,延迟涨了。

第三种,内部放大候选预算。 引擎先按放大的 search_k 取候选,再过滤,最后按需补取。这是最普遍的折中方案,本质上是把"后置过滤"搬进引擎内部,并在参数上做了补偿。它能不能召满,取决于那个放大系数够不够——而放大系数通常要你手动给。

我的经验是:别假设引擎会替你算这件事。 参数没显式给的时候,很多引擎用的是默认值,那个默认值是给"过滤条件形同虚设"的场景准备的。

1.3 不同存储的语义差异

大致分三类,判断标准是"谁能决定候选集":

  • 专用向量库:过滤通常是查询的一部分,支持标量索引、分区,也会暴露放大参数。能力最强,但参数语义要自己确认。
  • PG 系(关系库加向量扩展):过滤就是 SQL 的 WHERE,和 ORDER BY 距离 并存,走不走索引取决于查询计划和统计信息。好处是语义透明、可以用 EXPLAIN 看;坏处是选择性判断交给 planner,偶尔会给出反直觉的计划。
  • 内存型 ANN 库(hnswlib 这类):核心接口只做"最近邻",过滤得靠调用方自己放大 k 再筛。它不背这个锅,你也别指望它。

判断自己踩的是哪种:把过滤条件设为"全库都满足"(选择性 100%),看返回条数和延迟;再设为选择性 1%,再看。如果条数掉了而延迟没降多少,说明过滤是后置的,成本还在那儿。

二、三种"召不满"要分清,只有一种是真 bug

2.1 空结果

一条都没有,最容易发现。常见成因:K 太小加上选择性低、过滤器字段写错(字符串和整数比较、枚举值大小写)、时间范围用了本地时区而库里存的是 UTC。第三种我在跨时区数据上见过不止一次——差了 8 小时,把边界上的文档全切掉了。

2.2 条数不足,但返回的都相关

这是"过滤后不足 K 条",严格说不是 bug,是配置。危险在于它会伪装成正常返回。处理方式:让接口把 returned / requested 暴露出来,低于某个比例就打点告警。指标比日志靠谱,因为这种降级不产生异常。

2.3 条数够,但漏掉了明显正确的答案

这是最需要警惕的一种,因为它不报错、条数也够,只是正确答案不在里面。

机制是这样的:ANN 是近似的,它沿着图走固定步数就停。如果前若干步遇到的点大量被过滤器排除,遍历预算就消耗在无效点上,真正的答案可能从未被访问到。表现出来就是"库里明明有,检索就是没有"。

这类问题用肉眼看结果永远发现不了——你没有对照组。

还要和另一种原因区分开:分块切坏了。同一个文档被切成两半,答案跨在边界上,两段都不完整。它的表现也是"库里明明有,检索没有",但机制完全不同——修法是改切分,不是改过滤。区分办法很简单:把命中率低的那批查询,用精确检索拿到原文片段,人工看片段本身是否可读、是否包含完整答案。片段完整而精确检索能召到,问题在过滤预算;片段本身就残缺,问题在切分,换 embedding 模型、加大 topK 都救不回来。

2.4 必备的对照组:精确检索

诊断这件事只有一个可靠办法:用暴力精确检索跑同一个查询,对比 ANN 返回。

# 示意:用 numpy 做精确检索,作为 ANN 的对照组
import numpy as np

def exact_search(query_vec, matrix, mask, topk=10):
    """query_vec: (d,), matrix: (n, d) 已归一化, mask: (n,) bool 过滤器"""
    idx = np.flatnonzero(mask)            # 先过滤,再算距离:这就是"前置"的语义
    if idx.size == 0:
        return [], []
    sub = matrix[idx]
    sims = sub @ query_vec                # 归一化后点积即余弦
    order = np.argsort(-sims)[:topk]
    return idx[order].tolist(), sims[order].tolist()

def recall_gap(ann_ids, exact_ids):
    """ANN 相对精确检索的召回缺口,按 top-K 比较"""
    ann, exact = set(ann_ids), set(exact_ids)
    return {
        "ann_only": len(ann - exact),      # 近似带来的噪声
        "exact_only": len(exact - ann),    # 真正的漏召,这才是要修的
        "overlap": len(ann & exact),
    }

小库直接全量算,几百万条以上就抽样——每次抽几千个查询、每个只跟一个分区比。exact_only 不为零,就说明候选预算不够,而不是模型不行。这一步能立刻把"要不要换 embedding 模型"这个错误方向排掉。

三、怎么选:按选择性决定,而不是按习惯决定

3.1 一条可用的判断线

我把过滤器按两个维度分类,决策就变成了查表:

特征建议理由
选择性 > 30%,字段低基数后置过滤够用稀释不严重,实现最简单
选择性 5%~30%,字段低基数下推 + 显式放大 search_k放大 1/s 量级即可补回
选择性 < 5%必须前置:分区或标量索引放大倍数会到几十倍,延迟不可接受
高基数、强隔离(租户)物理分区 / 独立 collection隔离最彻底,顺带解决权限问题
多条件组合、范围查询标量索引 + 前置过滤组合条件放在应用层算不准

3.2 候选预算怎么估

如果只能用"放大 + 后置"这条路,预算的估算不能拍脑袋:

# 示意:按选择性自适应放大候选预算
import math

def candidate_budget(k, selectivity, max_multiplier=20.0, conf=0.9):
    """k: 目标返回条数; selectivity: 过滤器命中率(0,1]
    用超几何近似,估出让命中数 >= k 所需的候选数。"""
    if selectivity <= 0:
        return None
    if selectivity >= 1.0:
        return k
    s = max(selectivity, 1e-6)
    # 期望命中 = n * s,要求 n * s >= k 再留一点余量
    n = math.ceil(k / s * (1 + (1 - conf)))
    return min(n, int(k * max_multiplier))

def fetch_with_retry(search_fn, k, selectivity, max_multiplier=20.0):
    """按预算检索,不足则翻倍补取,直到够数或用尽预算"""
    budget = candidate_budget(k, selectivity, max_multiplier)
    got, seen = [], set()
    while budget >= k:
        batch = search_fn(budget)
        for doc in batch:
            if doc["id"] not in seen:
                seen.add(doc["id"])
                got.append(doc)
        if len(got) >= k:
            break
        budget *= 2
    return got[:k]

两个坑要注意:max_multiplier 一定要设上限,翻倍补取在极端选择性下会把延迟推到不可接受——宁可返回不足并告警,也不要让一个请求拖住线程池。另外 selectivity 得有个来源,我的做法是在写入时按"分区 + 时间桶"统计并缓存,隔一段时间刷新,别每个请求现算。

3.3 两级过滤:物理隔离 + 逻辑精筛

真实业务里过滤器很少只有一个。我最后用的是两级:

  • 第一级,分区键:租户、大类目这种"永远在查询里出现"的字段,做成分区。它把候选集缩小两三个数量级,且不依赖任何参数调优。
  • 第二级,标量过滤:时间范围、标签组合、状态,交给引擎的标量索引,在分区内部前置过滤。
  • 第三级,后置精筛:需要跨字段计算才能判断的条件(比如权限继承、内容审核状态),留在应用层做。这一级的选择性通常很高——因为它筛的是已经相关的少量结果——所以稀释问题不存在。

这个结构的好处是把"高选择性、强隔离"和"低选择性、需计算"两类条件分开了,各用各的机制,不用指望一个参数解决所有问题。

3.5 多路召回时,过滤要跟着每一路走

如果链路里除了向量召回还有一路关键词召回(BM25 之类),过滤不能只在融合之后做。

原因是两路的候选规模和分布不同:向量那一路你可以靠放大预算补,关键词那一路的候选数通常由查询词的区分度决定,跟 topK 没关系——一个只出现在少数文档里的词,命中数天然就少,再过一遍低选择性过滤器,很容易一路归零。融合的时候如果某一路是空的,权重就全压到另一路上,融合的意义也就没了。

做法是每路召回各自带过滤,各自保证最小返回数,然后在融合层做加权;融合之后再跑需要计算的精筛。这样即使某一路被过滤器打空,也能从指标上看出来(该路的最小返回数没满足),而不是等到最终结果变差再回头找原因。

3.6 过滤条件也会影响缓存

还有一个容易被忽略的连带效应:检索结果的缓存键要包含过滤条件。如果键里只放查询文本,不同租户、不同时间范围会互相命中缓存,轻则结果不对,重则越权读到别人的片段。反过来,如果键里塞了完整的过滤条件(尤其是时间范围这种每次都变的字段),缓存命中率会掉到接近零。

折中的做法是把过滤条件归一化成一个"过滤指纹"——租户和类型这类稳定字段进键,时间范围按天或按小时取整再进键。要么让缓存失效得快,要么让键粗一点,中间地带是最危险的。

3.4 顺便说一句权限

多租户场景里,过滤器还兼着权限边界的作用。这时候"后置过滤"就不只是召回问题了:如果检索时把别的租户的数据取到了应用层再筛掉,数据已经出了库,日志、缓存、异常堆栈都可能带上它。过滤放在哪一层,同时也是隔离放在哪一层。 这一点比召回率重要。

四、上线前的检查清单

  1. 列出所有过滤器,逐个估算选择性(用库里的实际分布,不是凭感觉)
  2. 把选择性 < 5% 的过滤器找出来,确认它们是分区还是标量索引
  3. 确认引擎的候选放大参数是显式配置的,不是默认值
  4. 拿 50 到 100 个真实查询,跑 ANN 与精确检索对照,看 exact_only 是否为 0
  5. 接口暴露 returned / requested 比例并打点,低于阈值告警
  6. 时区、枚举值、类型一致性做一次全量校验
  7. 极端选择性下压测延迟,确认有上限保护而不是无限翻倍

做了什么

这篇的核心结论来自一次真实的检索排查:后置过滤 + 低选择性租户过滤器,导致 topK 被稀释、返回条数不足且丢掉最优答案。我先怀疑了 embedding 模型,最后是靠"把过滤下推到库里"和"用暴力精确检索做对照"定位的。文中的选择性—期望命中表是按超几何期望算的推导,不是某次压测的实测数据;延迟表现那一句"召回对了延迟涨了"是观察到的定性现象,没有具体百分比。

两段代码里,精确检索对照那段我是实际跑过的(小规模、纯 numpy、验证漏召存在),候选预算那段是重写后的逻辑骨架,max_multiplier 的取值需要按自己引擎的延迟曲线定,别照抄。

一些体会

  1. "检索不到"先分三件事:库里没有、过滤器把它筛掉了、ANN 没走到它。这三件事的修法完全不同,而肉眼看结果永远分不出来,必须有精确检索做对照组。
  2. topK 是个预算,不是个愿望。 写下 topK=10 的时候要问:这是在过滤前还是过滤后数 10 条?答案不同,实现差一个数量级。
  3. 别相信引擎的默认参数。 放大系数、ef、nprobe 这类参数,默认值都是给"过滤条件很宽松"的场景准备的,你的场景大概率不是。
  4. 选择性要量化。 "这个租户数据不多"这种判断没有信息量,s = 0.8% 才有。有了这个数,用不用下推、放大几倍,都是可以直接算的。
  5. 过滤层就是权限层。 在应用层筛掉的数据,其实已经取出来了。这条在召回率之外,值得单独设计一次。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。