向量检索 HNSW 索引调优:把召回率从 0.82 提到 0.97

举报
yd_219600272 发表于 2026/11/21 09:13:06 2026/11/21
【摘要】 一次真实的向量检索调优复盘:从定义召回基线开始,逐项拆解 M、efConstruction、efSearch 三个参数的影响,并给出过滤条件下召回塌陷的成因与三种可行解法,最后附一份可直接照抄的调优清单。

先说结论:八成是参数问题,不是模型问题

线上语义检索的 recall@10 只有 0.82,第一反应往往是 embedding 模型不行、要换更大的模型。但把召回率拆开看就会发现,模型本身的天花板在 0.95 以上,真正丢掉的那部分分数发生在 HNSW 的图遍历阶段。换模型的成本是重算全量向量加重建索引,至少两天;调参数的成本是改两行配置加一次重建,四十分钟。所以正确的顺序永远是先证明瓶颈在图搜索,而不是在向量质量。

验证方法很朴素:取 500 条真实查询,用 brute force 暴力遍历算出精确 Top10 作为 ground truth,再和 HNSW 返回的结果比对。如果暴力遍历的 Top10 本身就和人工标注差得远,那才是模型问题;如果暴力遍历很准、HNSW 差很多,问题就锁定在索引参数上。我们这次属于后者,暴力遍历的 recall 是 0.968。

三个参数各自的职责

HNSW 需要调的参数只有三个,但很多人把它们混在一起调,结果互相抵消。M 是每个节点保留的邻居数,决定图的连通度,它影响的是索引的内存占用和构建质量,对查询影响是间接的;efConstruction 是建索引时候选队列的长度,值越大图的质量越好、建索引越慢;efSearch 是查询时候选队列的长度,它是唯一一个能在查询时动态调整、直接影响召回与延迟的参数。

很多团队的误区是把 efSearch 写死在索引配置里,全局一个值。实际上 efSearch 应该按业务场景分层:详情页的相关推荐可以给 256,首页搜索给 128,而管理后台的模糊查询给 64 就够。同一个索引,不同入口用不同 efSearch,这是性价比最高的一步优化。

实测:efSearch 的收益曲线在 128 附近出现拐点

在固定 M=16、efConstruction=200 的前提下,我们把 efSearch 从 32 逐步调到 512,记录 recall@10 和 p99 延迟。结果是:efSearch=32 时 recall 0.82、p99 12ms;64 时 0.891、p99 18ms;128 时 0.942、p99 27ms;256 时 0.961、p99 45ms;512 时 0.964、p99 88ms。

曲线在 128 到 256 之间明显变平,从 256 到 512 只涨了 0.003 的召回,却多花了一倍延迟。所以 efSearch=256 是这次的上限,再往上没有意义。真正把 recall 从 0.942 推到 0.97 的,不是继续加 efSearch,而是把 M 从 16 提到 32 重建了一次索引。M 翻倍后内存涨了约 1.9 倍,但 recall 直接多了 0.03,这比任何查询侧参数都划算。

顺带一个经验:M=32 时 efConstruction 从 200 提到 400 的收益很小(recall 只多 0.004),但索引构建时间从 11 分钟涨到 26 分钟。所以 efConstruction=200 是构建成本和质量的合理平衡点,除非数据量很小,否则不建议再加。

真正的坑:带过滤条件的查询会召回塌陷

参数调好之后,整体 recall 到了 0.97,但分场景看,带过滤条件的查询只有 0.71。原因在于 HNSW 是纯图遍历,它不知道你的过滤条件,会先按距离找出 efSearch 个候选,再逐条过滤。如果过滤条件筛掉了九成数据,候选集里可能一条都不剩,也就是所谓的 filtered search 塌陷。

三种解法我们实测了两种。第一种是后置过滤加放大候选,把 efSearch 临时放大到 512 甚至 1024,简单但延迟不可控,过滤选择性越强越糟。第二种是前置过滤:先用过滤条件圈出允许的 id 集合,再在这个子集上做图遍历,需要引擎支持(比如 pgvector 的 iterative scan、Milvus 的 partition key)。我们最终用分区键把租户维度做成物理分区,租户内过滤走 HNSW、跨租户走暴力遍历,recall 回到 0.95,延迟稳定在 40ms 以内。

第三种是混合索引,把强过滤字段做成标量索引,让查询规划器先走标量再走向量。这条路改动最大,适合过滤条件长期稳定的场景。

可以直接照抄的调优清单

第一,先建 ground truth。没有暴力遍历的对照,任何召回率数字都不可信。第二,按查询入口分层设 efSearch,而不是全局一个值。第三,efSearch 调到收益曲线拐点为止,不要凭感觉给 512。第四,如果整体召回还差 0.02 到 0.03,优先加 M 重建,而不是继续加 efSearch。第五,一定要分场景统计召回率,带过滤的查询要单独看,否则平均值会把问题藏起来。第六,重建索引期间用别名切换,不要停机。

最后提醒一句:这些参数和你的数据分布强相关。上面的数字是我们 2000 万条 768 维向量、余弦距离、IVF 关闭的场景下的结果,换数据集必须重新跑一遍曲线,不要直接抄数值。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。