向量数据库与语义搜索的基本原理
一、从精确匹配到语义匹配
关键词检索的逻辑是字面匹配。搜索如何重置密码,文档里写的是账户密码找回流程,字面不重叠就检索不到,尽管两者说的是同一件事。这种词汇鸿沟是传统检索的根本局限。
语义搜索的思路是把文本映射到向量空间,让语义相近的文本在空间中的位置也相近。如何重置密码和忘记密码怎么办在向量空间中的距离很近,字面不同也能互相召回。
二、文本如何变成向量
嵌入模型负责这个转换。它把一段文本编码为固定长度的向量,通常是几百到几千维的浮点数数组。模型通过大规模语料训练,学习到语言的语义结构:含义相似的文本输出相近的向量,含义无关的向量距离较远。
文本一旦变成向量,语义比较就变成了数学问题。计算两个向量的距离或夹角,数值越接近,语义越相似。检索系统只需找到与查询向量距离最近的一批文档向量即可。
三、向量检索为什么需要专门的数据库
暴力计算查询向量与库中每个向量的距离,数据量大时完全不可行。向量数据库的核心是近似最近邻索引:通过特定的数据结构组织向量,把搜索范围快速缩小到候选集,用微小的精度损失换取数量级的速度提升。常见索引基于图结构或聚类划分,十亿级向量也能在毫秒级返回结果。
除了索引,向量数据库通常还集成元数据过滤、向量与标量的混合查询、持久化和分布式能力,让向量检索可以直接支撑生产系统。
四、语义搜索的局限与配合
向量检索擅长语义泛化,但在精确匹配上反而可能不如关键词:专有名词、编号、型号这类需要字面精确的内容,纯向量检索容易召回语义相近但具体型号错误的结果。因此生产级检索普遍采用混合检索:关键词检索保证精确性,向量检索保证语义召回,两路结果合并后再精排。
向量质量也完全依赖嵌入模型。通用模型在专业领域表现可能平庸,领域微调或选用领域适配的模型,往往比优化检索参数更能提升效果。
五、总结
向量数据库的本质是把语义问题转化为几何问题,再用近似索引解决几何搜索的性能问题。它补齐了传统检索无法理解语义的短板,但并不能完全替代关键词检索。混合检索加上合适的嵌入模型,是当前构建语义搜索能力的标准配方,也是 RAG 等应用架构的检索底座
- 点赞
- 收藏
- 关注作者
评论(0)