Post-filtering vs Pre-filtering:向量数据库选型的分水岭不在索引算法,在执行计划

举报
这个DBA有点耶 发表于 2026/11/17 18:14:22 2026/11/17
【摘要】 向量数据库选型的核心分歧不在索引算法(HNSW/IVF/PQ),而在“过滤与召回谁先谁后”。独立向量库先做Top-K召回、再回业务库过滤,过滤条件苛刻时召回量被迫放大;pgvector在PG内做过滤+检索,但索引和关系引擎的协同深度有限;融合型内核把过滤条件下推到向量扫描阶段,从执行计划层面消除了“先召回再过滤”的浪费。本文以“过滤与召回的先后顺序”为轴心,深度拆解三条路线的执行链路差异、底层代价

大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!

选向量数据库,大多数人第一眼都在看排行榜:HNSW召回率多少、IVF建索引多快、QPS峰值有多高。

但真正做过RAG生产落地的团队会发现一个残酷的真相:一旦你的查询带上了业务过滤条件(比如 WHERE city='杭州' AND status='active'),跑分直接失效。

真实的业务从来不是“在10亿个向量里找最相似的Top-10”,而是“在几十万条符合特定业务状态的记录里,找最相似的Top-10”。一旦过滤条件变重,底层过滤与召回的先后顺序,直接决定了你的系统是毫秒级响应,还是直接超时宕机。

今天,我们以“过滤与召回的先后顺序”为轴心,从底层执行链路拆解三条技术路线,看看延迟天花板到底卡在哪里。

一、底层机制:为什么“先召回再过滤”会导致延迟爆炸?

向量检索的核心是近似最近邻(ANN)搜索。在图索引(如HNSW)中,查询是一个“从顶层向下层跳跃”的贪心遍历过程。当查询伴随标量过滤时,会有两种处理逻辑:

1. Post-filtering(先召回后过滤)
底层向量引擎无视业务条件,先在图索引里全速遍历,召回 Top-K。上层应用再拿着这 K 个结果去匹配 WHERE 条件。
灾难点:假设你要找100个杭州的活跃商品,但系统先召回了 Top-1000。结果用条件一筛,发现只有 5 个符合。为了凑够 100 个,系统只能被迫把召回量放大到 Top-10000 甚至 Top-100000。每一次多算的向量距离,都是在疯狂燃烧 CPU 和内存。

2. Pre-filtering(先过滤后召回)
先用标量条件过滤出候选集,再对候选集进行向量距离计算。
工程难点:如果候选集很大(比如几十万),计算量依然很大;如果候选集很小(比如只有50个),传统的图遍历算法(HNSW)会“迷路”——因为图结构被打散了,无法进行高效的跳跃,甚至退化为线性扫描。

二、市面路线的真实困境:架构决定了天花板

路线一:独立向量库(Milvus/Pinecone/Qdrant等)
它们的架构是存算分离的:业务数据在 MySQL/Oracle,向量在独立引擎。
执行链路:应用层先向业务库发起查询 -> 拿到几十万个满足条件的 ID -> 打包成巨大的 IN (id1, id2...) 请求 -> 跨网络发给向量库 -> 向量库在内存中做带有过滤条件的图遍历。
三大死穴:

  1. 网络与内存风暴:几十万个 ID 字符串的传输和解析,本身就会造成巨大的网络开销和内存 GC 压力。

  2. 过滤开销极高:向量库必须把这份巨大的 ID 列表加载到内存的 Bitmap 中,遍历图节点时逐个比对,严重拖慢检索速度。

  3. 双写一致性:如果业务库的 status 变了,而同步组件还没来得及把向量库里的标量副本更新,大模型就会基于错误的数据给出答案。

路线二:pgvector 扩展
作为 PG 的插件,它实现了“存储级”的融合。
执行链路:优化器解析 SQL -> 尝试将 WHERE 条件下推给 HNSW 索引。
真实局限:pgvector 毕竟是外挂 C 语言插件,它与 PG 原生的优化器之间有一层“玻璃墙”。在遇到复杂的嵌套查询或多条件过滤时,PG 的代价估算往往估不准 HNSW 索引的代价。结果就是:优化器经常做出错误决定,导致本该走索引的变成了全表扫描,或者本该先过滤的变成了先全量召回。

路线三:金仓 KES_Vector(融合型内核)的降维打击
金仓的做法不是在数据库外面挂个插件,而是把向量检索引擎、DiskANN 索引结构直接做进了数据库的内核存储层。它的执行引擎叫融合物理执行器。

三、深度拆解:金仓 KES_Vector 是如何靠 CBO 赢下延迟的?

金仓的杀手锏不是“跑分有多快”,而是**“代价驱动的动态执行计划”**。

当收到一条带过滤和向量排序的 SQL 时:

SELECT id, title FROM products 
WHERE category = '数码' AND is_deleted = 0
ORDER BY embedding <-> '[0.1, 0.2, ...]' 
LIMIT 10;

金仓的 CBO(基于代价的优化器)会介入,并做三件硬核的事:

1. 统计信息感知与路径抉择
CBO 会查统计信息表(pg_statistic):category='数码' 的基数有多大?

  • 如果过滤性极强(比如全表1000万,数码只占500条):CBO 直接生成 Index Scan 计划。先走 B+ 树,瞬间捞出这 500 条记录的 ctid(物理页地址),然后在这 500 条记录上,直接执行向量距离算子(<->)。500次距离计算,几毫秒完事。

  • 如果过滤性极弱(比如数码占 800 万条):CBO 发现 B+ 树过滤太慢,直接翻转执行计划。生成 Vector Index Scan。先走 DiskANN 召回 Top-100,再对这100条应用 is_deleted=0 的过滤条件。

2. 算子级的内存共享(这是插件做不到的)
在独立向量库中,过滤算子(Scalar Filter)和距离算子(Vector Distance)是分离的,需要在内存里反复拷数据。
在金仓的内核里,这两个算子在同一个执行计划节点(Plan Node)中运行。当从 B+ 树或 DiskANN 中拿到一行数据(Tuple)时,过滤引擎判定通过后,直接通过指针把该行的向量数据传递给 距离计算引擎。没有网络传输,没有序列化/反序列化,完全在同一个 CPU 寄存器级别完成。 这种算子级的融合,极大降低了强过滤场景下的 GC 开销和 Cache Miss。

3. DiskANN 架构:把内存省下来给“计算”
独立向量库(特别是 HNSW)为了保证召回率,必须把整个图结构全量塞进内存,内存消耗极大。金仓采用了 DiskANN 索引技术:把庞大的图结构和向量主体存在 SSD 上,内存里只保留一个极小的导航点图(Vamana 图)。
在强过滤场景下,SSD 的随机读(微秒级)配合 CBO 的过滤下推,不仅把内存成本砍掉了 95.4%,还因为内存空出来了,让数据库的 Buffer Pool 能缓存更多的业务数据和索引元数据,整体吞吐量大幅提升。

四、真实对比:一次带复杂过滤的 RAG 检索

假设有 1 亿条数据,查询“状态为已发布、类型为文章、按相似度排序取 Top 10”。

  • 独立向量库方案:应用查业务库拿 ID(耗时 150ms,传 20 万 ID) -> 向量库接收并解析 ID(耗时 50ms) -> 向量库召回 2 万条后过滤出 10 条(耗时 300ms)。总延迟:约 500ms,且网络带宽占用极高。

  • 金仓 KES_Vector 方案:一条 SQL 发给数据库。CBO 发现 status='published' AND type='article' 只有 5000 条,直接走过滤后召回。B+ 树捞出 5000 个物理地址 -> 内存中读取向量并计算 -> 取 Top 10 返回。总延迟:不到 20ms。 并且由于数据在同库,直接消除了双写延迟。

五、选型拷问:如何判断一个向量数据库是不是“真融合”?

不要被厂商的“支持向量功能”忽悠,拿这三个硬核问题去测:

  1. 把过滤条件加进去,执行计划会变吗?
    用 EXPLAIN 看,如果加了 WHERE 条件后,系统依然雷打不动地走同一种路径(比如永远走向量索引),说明它不是真 CBO,迟早翻车。

  2. 标量字段的更新和向量索引的更新,是在同一个事务里吗?
    不在同一个事务里的,都是伪融合。强一致性业务请直接 Pass。

  3. 它底层有几个进程?
    如果是“数据库进程 + 向量引擎进程”,甚至需要 Kafka 同步,那还是独立架构。真正的融合,只有一个数据库进程。

六、小结

在强过滤的 RAG 场景下,选型的核心已经变成了**“执行计划的智能程度”**。独立向量库和插件受限于架构,无法彻底解决“召回放大”和“双写延迟”。金仓 KES_Vector 作为融合型内核,用 CBO 优化器聪明地决定先过滤还是先召回,用算子级的内存共享消灭了网络传输,用 DiskANN 把内存成本打了下来。不要为了那 1% 的跑分差距,去承受 500ms 的网络延迟和一套复杂的同步链路。

小耶在手,SQL 不愁

还有什么想了解的,欢迎留言!小耶一定知无不言言无不尽……我们下次见~

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。