【手摸手学RAG】05-从向量嵌入到Milvus索引优化，一文打通核心技术脉络

大家好，我是胡琦。

最近在社区里和大家交流，发现很多人对RAG（Retrieval-Augmented Generation）技术栈非常感兴趣。作为当前大模型落地应用的关键一环，RAG的效果很大程度上取决于其检索的准确性和效率。而这背后，向量嵌入（Vector Embedding）、向量数据库（Vector Database） 以及 索引优化（Index Optimization） 等技术扮演着至关重要的角色。

本文将重点解析以下几个模块：

• 向量嵌入：万物皆可Embedding的“魔法”是如何实现的？
• 多模态嵌入：如何让模型理解图像、音频，实现跨模态检索？
• 向量数据库：为什么我们需要专门的数据库来处理向量？
• 手摸手实战Milvus：顶级开源向量库Milvus如何快速上手？
• 索引优化：如何给你的向量数据库按下“加速键”？

话不多说，我们正式发车！

一、 向量嵌入：搭建语义理解的桥梁

在RAG的世界里，我们首先要解决的问题是，如何让机器“理解”非结构化的数据，例如文本、图片等。向量嵌入就是解决这个问题的核心技术。

它的基本思想很简单：将万事万物映射到一个高维的数学空间中，用一个向量（Vector）来表示。在这个空间里，语义上相似的内容，其对应的向量在空间位置上也更接近。

这就好比给每个词、每句话、每张图都分配一个三维空间中的坐标。相似的东西，坐标就离得近。这样一来，我们就可以通过计算向量之间的距离（例如余弦相似度、欧氏距离）来判断内容的相似度。

目前主流的Embedding模型有很多，比如经典的Word2Vec，以及现在基于Transformer架构的BERT、M3E等等。选择一个合适的Embedding模型，对于后续的检索效果至关重要。

核心要点：

• 目的：将非结构化数据转化为机器可计算的向量。
• 原则：语义相似，向量相近。
• 应用：文本、图像、音频等各种数据的语义检索。

二、 多模态嵌入：打破单一模态的次元壁

随着AI应用场景的丰富，我们处理的数据不再局限于文本。多模态嵌入（Multimodal Embedding） 技术应运而生。它的目标是将不同模态的数据（如文本、图像、音频）映射到同一个统一的向量空间中。

想象一下，你可以用一张图片去搜索相关的文字描述，或者用一段文字描述去寻找匹配的图片。这就是多模示嵌入的魅力所在。

实现这一点的关键在于，模型需要学习到不同模态数据之间的内在关联。例如，CLIP模型就是通过海量的“图像-文本”对进行训练，从而学会了将图像和描述其内容的文本映射到向量空间中相近的位置。

核心要点：

• 目的：将不同类型的数据（文本、图像等）映射到统一的向量空间。
• 关键：学习跨模态数据之间的关联。
• 应用：跨模态搜索、图文生成等。

三、 向量数据库：海量向量的“五星级酒店”

当我们把海量数据转化为向量之后，新的问题来了：如何高效地存储、管理和检索这些动辄数百万、上亿的向量？

传统的标量数据库（如MySQL）显然难以胜任。这时候，向量数据库就闪亮登场了。

向量数据库专门为存储和查询高维向量而设计，它内置了高效的近似最近邻（ANN）搜索算法，可以在保证极高召回率的同时，实现毫秒级的检索响应。

我们可以把它理解成一个为海量向量提供“五星级”服务的酒店，不仅能让向量们“住得下”，还能快速地找到它们的“邻居”。

核心要点：

• 目的：高效存储和检索海量高维向量。
• 核心技术：近似最近邻（ANN）搜索算法。
• 优势：速度快、召回率高、可扩展性强。

四、 手摸手实战Milvus：轻松上手顶级向量数据库

在众多向量数据库中，Milvus无疑是目前最受欢迎的开源项目之一。它由Zilliz公司开发，并捐赠给了LF AI & Data基金会，现已成为顶级项目。

Milvus具备以下几个突出优点：

• 高性能：支持多种ANN索引，查询性能卓越。
• 高可用、高扩展：采用云原生架构，支持水平扩展。
• 混合搜索：支持在向量和标量数据上进行混合搜索。
• 丰富的生态：与LangChain、LlamaIndex等主流AI框架无缝集成。

上手Milvus也相对简单，通过官方提供的Python SDK，我们可以轻松完成连接、创建Collection、插入向量、构建索引和执行搜索等一系列操作。对于想快速搭建RAG应用的开发者来说，Milvus是一个非常值得投入时间学习的工具。

五、 索引优化：向量检索的“加速魔法”

仅仅把向量存入数据库是远远不够的，为了实现快如闪电的检索，我们还必须为向量数据构建索引。

向量索引的本质是一种数据结构，它通过对向量空间进行划分和组织，从而在搜索时可以跳过大量不相关的区域，显著减少计算量，加速查询过程。

常见的索引类型包括：

• 基于树的索引：如Annoy。
• 基于图的索引：如HNSW（Hierarchical Navigable Small World），这是目前综合性能最好的索引之一。
• 基于哈希的索引：如LSH（Locality-Sensitive Hashing）。
• 基于量化的索引：如IVF（Inverted File）系列，通过聚类减少搜索空间。

在Milvus中，我们可以为不同的应用场景选择最合适的索引类型和参数（如nlist、M、efConstruction等），从而在检索性能、准确率和内存占用之间找到最佳平衡点。这是一个需要不断调试和优化的过程，也是最大化RAG系统性能的关键所在。

RAG技术栈看似复杂，但只要我们抓住其核心脉络，就可以纲举目张。从向量嵌入这座桥梁，到向量数据库这个管理中枢，再到索引优化这个加速引擎，每一个环节都承载着让AI更懂世界、更快响应的关键任务。

希望这篇学习笔记能帮助大家对RAG的技术有一个更清晰的认识。当然，技术在不断发展，文中若有疏漏之处，也欢迎大家在评论区交流指正。

本文基于[datawhalechina/all-in-rag]项目整理，仅代表个人学习心得，不代表任何官方观点。小伙伴们有疑问欢迎交流讨论，一起学习一起进步！