从零搭建本地知识库问答:RAG 实战五步
从零搭建本地知识库问答:RAG 实战五步
引言:大模型什么都懂,唯独不懂你的内部资料
大模型能写代码、能讲原理,但一问“咱们公司请假流程怎么走”“这个项目的接口鉴权规则是什么”,它就开始一本正经地编答案。不是模型不行,是它没见过你的资料。
RAG(检索增强生成)就是解决这个问题的标准做法:先把你的文档切块、向量化存起来,用户提问时先检索出最相关的几段,再连同问题一起交给大模型回答。答案有据可查,也不会凭空捏造。
这篇文章用最少的组件,从零搭一个能跑的本地知识库问答:文档准备、切块、向量化、检索、问答,五步走完。
一、第一步:准备文档,先解决“喂什么”的问题
RAG 的效果上限由文档质量决定,模型只负责表达。先准备 3 到 5 份真实文档:产品手册、接口文档、常见问题汇总都可以,PDF、Markdown、纯文本都行。
准备时注意三件事:
- 去掉失效内容。过期接口、已下线的功能说明要先删掉,否则检索出来就是错误答案的源头。
- 一个文档只讲一件事。把“新手入门”“接口说明”“故障处理”拆成独立文档,检索命中率会明显提高。
- 统一格式。标题层级清晰,关键术语全文统一写法,“登录接口”不要一会儿叫“登陆接口”,一会儿叫“auth 接口”,否则检索会漏。
文档准备好后放进一个目录,比如 docs/,后面四步都围绕它转。
二、第二步:切块——块太小没上下文,块太大检索不准
整篇文档直接向量化效果很差,因为一次检索返回的是一整篇,真正相关的可能只有其中两段。正确做法是先切块。
推荐的切块策略:按段落切,块大小控制在 300 到 500 字,块与块之间保留 50 字左右的重叠,避免一句话被拦腰切断。
# 简易切块示例:按段落切分,保留重叠
def split_docs(text, chunk_size=400, overlap=50):
chunks = []
start = 0
while start < len(text):
end = start + chunk_size
chunks.append(text[start:end])
start = end - overlap
return chunks
如果文档是 Markdown,优先按标题切:一个二级标题连同它下面的正文作为一块,语义最完整。表格、代码块不要拆散,单独成块效果更好。
切完后给每个块打上元数据:来源文档名、章节标题、更新时间。问答时把来源一起展示,用户能追溯答案出处,可信度立刻不一样。
三、第三步:向量化并入库,选一个够用的向量库
切好的文本块要转成向量才能做语义检索。调用 Embedding 模型把每块转成一串数字,语义相近的块,向量距离就近。
本地实验用轻量方案就够了:
# 伪代码:向量化并写入向量库
from embedding import embed # 任选一个 Embedding 模型
from vectordb import Collection # 如 Chroma、Milvus Lite、FAISS
collection = Collection("kb")
for chunk in chunks:
vector = embed(chunk["text"]) # 文本转向量
collection.add(
vector=vector,
text=chunk["text"],
meta={"source": chunk["source"], "title": chunk["title"]},
)
选型建议:数据量在万级以下,Chroma 或 FAISS 单机就够;需要多人协作、权限隔离,再考虑 Milvus 这类服务端方案。不要一上来就搭分布式集群,先把问答跑通再说。
这一步最常见的坑是 Embedding 模型和问答模型语言不匹配:中文文档就用中文表现好的 Embedding 模型,否则“请假流程”和“年假申请”这种同义词都匹配不上。
四、第四步:检索——先召回,再精排
用户提问后,不要直接把检索结果塞给大模型。好的检索分两步:
- 召回:向量相似度取回 Top 10 的块,保证不漏。
- 精排:用重排序模型(Reranker)对这 10 块再打分,只留最相关的 Top 3 交给大模型。
# 伪代码:检索 + 精排 + 生成
def answer(question):
query_vec = embed(question)
candidates = collection.search(query_vec, top_k=10) # 召回
ranked = rerank(question, candidates)[:3] # 精排
context = "\n".join(c["text"] for c in ranked)
prompt = f"根据以下资料回答问题,资料中没有的内容请直接说不知道:\n{context}\n\n问题:{question}"
return llm.chat(prompt)
注意提示词里的关键句:“资料中没有的内容请直接说不知道”。没有这句,模型会在资料不足时自己补编答案,RAG 最大的价值就丢了。
五、第五步:上线前必须做的三件事
系统跑通后,别急着给全员用,先做三件小事:
- 准备 20 个真实问题做评测。覆盖高频问题、边界问题、资料里没有答案的问题三种,记录每次回答是否引用了正确来源,准确率低于 80% 就先调检索,别调模型。
- 加上“不知道”的统计。定期看哪些问题答了“不知道”,这些就是文档缺口,补文档比调参数管用十倍。
- 文档更新要同步更新向量库。文档改了,旧向量必须删掉重建,否则检索会返回过期内容。最简单的办法:按文档名做版本标记,重建时先清掉同名文档的旧块。
结语
RAG 的核心链路其实就一句话:好文档、切得当、检索准、模型只做表达。很多项目把精力花在换更大的模型上,效果却不如认真整理一次文档、把切块调好、加一道精排。
按这五步走,一个下午就能搭出可用的本地知识库问答;之后的工作是持续的:补文档、看“不知道”的统计、优化检索。知识库是个活系统,养起来才有价值。
- 点赞
- 收藏
- 关注作者
评论(0)