从零搭建本地知识库问答:RAG 实战五步

举报
yd_264706314 发表于 2026/11/17 09:49:07 2026/11/17
【摘要】 从零搭建本地知识库问答:RAG 实战五步 引言:大模型什么都懂,唯独不懂你的内部资料大模型能写代码、能讲原理,但一问“咱们公司请假流程怎么走”“这个项目的接口鉴权规则是什么”,它就开始一本正经地编答案。不是模型不行,是它没见过你的资料。RAG(检索增强生成)就是解决这个问题的标准做法:先把你的文档切块、向量化存起来,用户提问时先检索出最相关的几段,再连同问题一起交给大模型回答。答案有据可查...

从零搭建本地知识库问答:RAG 实战五步

引言:大模型什么都懂,唯独不懂你的内部资料

大模型能写代码、能讲原理,但一问“咱们公司请假流程怎么走”“这个项目的接口鉴权规则是什么”,它就开始一本正经地编答案。不是模型不行,是它没见过你的资料。

RAG(检索增强生成)就是解决这个问题的标准做法:先把你的文档切块、向量化存起来,用户提问时先检索出最相关的几段,再连同问题一起交给大模型回答。答案有据可查,也不会凭空捏造。

这篇文章用最少的组件,从零搭一个能跑的本地知识库问答:文档准备、切块、向量化、检索、问答,五步走完。

一、第一步:准备文档,先解决“喂什么”的问题

RAG 的效果上限由文档质量决定,模型只负责表达。先准备 3 到 5 份真实文档:产品手册、接口文档、常见问题汇总都可以,PDF、Markdown、纯文本都行。

准备时注意三件事:

  1. 去掉失效内容。过期接口、已下线的功能说明要先删掉,否则检索出来就是错误答案的源头。
  2. 一个文档只讲一件事。把“新手入门”“接口说明”“故障处理”拆成独立文档,检索命中率会明显提高。
  3. 统一格式。标题层级清晰,关键术语全文统一写法,“登录接口”不要一会儿叫“登陆接口”,一会儿叫“auth 接口”,否则检索会漏。

文档准备好后放进一个目录,比如 docs/,后面四步都围绕它转。

二、第二步:切块——块太小没上下文,块太大检索不准

整篇文档直接向量化效果很差,因为一次检索返回的是一整篇,真正相关的可能只有其中两段。正确做法是先切块。

推荐的切块策略:按段落切,块大小控制在 300 到 500 字,块与块之间保留 50 字左右的重叠,避免一句话被拦腰切断。

# 简易切块示例:按段落切分,保留重叠
def split_docs(text, chunk_size=400, overlap=50):
    chunks = []
    start = 0
    while start < len(text):
        end = start + chunk_size
        chunks.append(text[start:end])
        start = end - overlap
    return chunks

如果文档是 Markdown,优先按标题切:一个二级标题连同它下面的正文作为一块,语义最完整。表格、代码块不要拆散,单独成块效果更好。

切完后给每个块打上元数据:来源文档名、章节标题、更新时间。问答时把来源一起展示,用户能追溯答案出处,可信度立刻不一样。

三、第三步:向量化并入库,选一个够用的向量库

切好的文本块要转成向量才能做语义检索。调用 Embedding 模型把每块转成一串数字,语义相近的块,向量距离就近。

本地实验用轻量方案就够了:

# 伪代码:向量化并写入向量库
from embedding import embed           # 任选一个 Embedding 模型
from vectordb import Collection       # 如 Chroma、Milvus Lite、FAISS

collection = Collection("kb")
for chunk in chunks:
    vector = embed(chunk["text"])     # 文本转向量
    collection.add(
        vector=vector,
        text=chunk["text"],
        meta={"source": chunk["source"], "title": chunk["title"]},
    )

选型建议:数据量在万级以下,Chroma 或 FAISS 单机就够;需要多人协作、权限隔离,再考虑 Milvus 这类服务端方案。不要一上来就搭分布式集群,先把问答跑通再说。

这一步最常见的坑是 Embedding 模型和问答模型语言不匹配:中文文档就用中文表现好的 Embedding 模型,否则“请假流程”和“年假申请”这种同义词都匹配不上。

四、第四步:检索——先召回,再精排

用户提问后,不要直接把检索结果塞给大模型。好的检索分两步:

  1. 召回:向量相似度取回 Top 10 的块,保证不漏。
  2. 精排:用重排序模型(Reranker)对这 10 块再打分,只留最相关的 Top 3 交给大模型。
# 伪代码:检索 + 精排 + 生成
def answer(question):
    query_vec = embed(question)
    candidates = collection.search(query_vec, top_k=10)   # 召回
    ranked = rerank(question, candidates)[:3]              # 精排
    context = "\n".join(c["text"] for c in ranked)
    prompt = f"根据以下资料回答问题,资料中没有的内容请直接说不知道:\n{context}\n\n问题:{question}"
    return llm.chat(prompt)

注意提示词里的关键句:“资料中没有的内容请直接说不知道”。没有这句,模型会在资料不足时自己补编答案,RAG 最大的价值就丢了。

五、第五步:上线前必须做的三件事

系统跑通后,别急着给全员用,先做三件小事:

  1. 准备 20 个真实问题做评测。覆盖高频问题、边界问题、资料里没有答案的问题三种,记录每次回答是否引用了正确来源,准确率低于 80% 就先调检索,别调模型。
  2. 加上“不知道”的统计。定期看哪些问题答了“不知道”,这些就是文档缺口,补文档比调参数管用十倍。
  3. 文档更新要同步更新向量库。文档改了,旧向量必须删掉重建,否则检索会返回过期内容。最简单的办法:按文档名做版本标记,重建时先清掉同名文档的旧块。

结语

RAG 的核心链路其实就一句话:好文档、切得当、检索准、模型只做表达。很多项目把精力花在换更大的模型上,效果却不如认真整理一次文档、把切块调好、加一道精排。

按这五步走,一个下午就能搭出可用的本地知识库问答;之后的工作是持续的:补文档、看“不知道”的统计、优化检索。知识库是个活系统,养起来才有价值。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。