向量检索 HNSW 索引调优:把召回率从 0.82 提到 0.97
先说结论:八成是参数问题,不是模型问题
线上语义检索的 recall@10 只有 0.82,第一反应往往是 embedding 模型不行、要换更大的模型。但把召回率拆开看就会发现,模型本身的天花板在 0.95 以上,真正丢掉的那部分分数发生在 HNSW 的图遍历阶段。换模型的成本是重算全量向量加重建索引,至少两天;调参数的成本是改两行配置加一次重建,四十分钟。所以正确的顺序永远是先证明瓶颈在图搜索,而不是在向量质量。
验证方法很朴素:取 500 条真实查询,用 brute force 暴力遍历算出精确 Top10 作为 ground truth,再和 HNSW 返回的结果比对。如果暴力遍历的 Top10 本身就和人工标注差得远,那才是模型问题;如果暴力遍历很准、HNSW 差很多,问题就锁定在索引参数上。我们这次属于后者,暴力遍历的 recall 是 0.968。
三个参数各自的职责
HNSW 需要调的参数只有三个,但很多人把它们混在一起调,结果互相抵消。M 是每个节点保留的邻居数,决定图的连通度,它影响的是索引的内存占用和构建质量,对查询影响是间接的;efConstruction 是建索引时候选队列的长度,值越大图的质量越好、建索引越慢;efSearch 是查询时候选队列的长度,它是唯一一个能在查询时动态调整、直接影响召回与延迟的参数。
很多团队的误区是把 efSearch 写死在索引配置里,全局一个值。实际上 efSearch 应该按业务场景分层:详情页的相关推荐可以给 256,首页搜索给 128,而管理后台的模糊查询给 64 就够。同一个索引,不同入口用不同 efSearch,这是性价比最高的一步优化。
实测:efSearch 的收益曲线在 128 附近出现拐点
在固定 M=16、efConstruction=200 的前提下,我们把 efSearch 从 32 逐步调到 512,记录 recall@10 和 p99 延迟。结果是:efSearch=32 时 recall 0.82、p99 12ms;64 时 0.891、p99 18ms;128 时 0.942、p99 27ms;256 时 0.961、p99 45ms;512 时 0.964、p99 88ms。
曲线在 128 到 256 之间明显变平,从 256 到 512 只涨了 0.003 的召回,却多花了一倍延迟。所以 efSearch=256 是这次的上限,再往上没有意义。真正把 recall 从 0.942 推到 0.97 的,不是继续加 efSearch,而是把 M 从 16 提到 32 重建了一次索引。M 翻倍后内存涨了约 1.9 倍,但 recall 直接多了 0.03,这比任何查询侧参数都划算。
顺带一个经验:M=32 时 efConstruction 从 200 提到 400 的收益很小(recall 只多 0.004),但索引构建时间从 11 分钟涨到 26 分钟。所以 efConstruction=200 是构建成本和质量的合理平衡点,除非数据量很小,否则不建议再加。
真正的坑:带过滤条件的查询会召回塌陷
参数调好之后,整体 recall 到了 0.97,但分场景看,带过滤条件的查询只有 0.71。原因在于 HNSW 是纯图遍历,它不知道你的过滤条件,会先按距离找出 efSearch 个候选,再逐条过滤。如果过滤条件筛掉了九成数据,候选集里可能一条都不剩,也就是所谓的 filtered search 塌陷。
三种解法我们实测了两种。第一种是后置过滤加放大候选,把 efSearch 临时放大到 512 甚至 1024,简单但延迟不可控,过滤选择性越强越糟。第二种是前置过滤:先用过滤条件圈出允许的 id 集合,再在这个子集上做图遍历,需要引擎支持(比如 pgvector 的 iterative scan、Milvus 的 partition key)。我们最终用分区键把租户维度做成物理分区,租户内过滤走 HNSW、跨租户走暴力遍历,recall 回到 0.95,延迟稳定在 40ms 以内。
第三种是混合索引,把强过滤字段做成标量索引,让查询规划器先走标量再走向量。这条路改动最大,适合过滤条件长期稳定的场景。
可以直接照抄的调优清单
第一,先建 ground truth。没有暴力遍历的对照,任何召回率数字都不可信。第二,按查询入口分层设 efSearch,而不是全局一个值。第三,efSearch 调到收益曲线拐点为止,不要凭感觉给 512。第四,如果整体召回还差 0.02 到 0.03,优先加 M 重建,而不是继续加 efSearch。第五,一定要分场景统计召回率,带过滤的查询要单独看,否则平均值会把问题藏起来。第六,重建索引期间用别名切换,不要停机。
最后提醒一句:这些参数和你的数据分布强相关。上面的数字是我们 2000 万条 768 维向量、余弦距离、IVF 关闭的场景下的结果,换数据集必须重新跑一遍曲线,不要直接抄数值。
- 点赞
- 收藏
- 关注作者
评论(0)