LangChain 介绍
1.概述
LangChain的核心组件,从逻辑上可以划分为以下四大部分:Model I/O、Chains、RAG、Agents。
1.1 Model I/O
标准化大模型的输入和输出,包含提示模版,模型调用和格式化输出。

1.2 Chains
Chains 用于将多个组件组合成一个完整的流程,用于复杂任务的处理。
1.3 Retrieval
通过检索外部数据作为 LLM 参考信息输入,辅助生成答案。

1.4 Agents
Agent 自主规划执行步骤并使用工具来完成任务。

2. Model I/O
Model I/O 是与语言模型进行交互的核心组件,包括输入提示(Prompt Template)、调用模型(Model)、输出解析(Output Parser)。
2.1 Prompt Template
在应用开发中,固定的提示词限制了模型的灵活性和适用范围。通过提示词模板,可以将变量插入到模板中,从而创建出不同的Prompt。常用的有 PromptTemplate(字符串提示模板)和 ChatPromptTemplate(聊天提示模板)。
2.1.1 字符串提示模板
import logging
import os
import dotenv
from langchain.chat_models import init_chat_model
from langchain_core.prompts import PromptTemplate
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
dotenv.load_dotenv()
if __name__ == '__main__':
llm = init_chat_model(
model="deepseek-flash",
model_provider="deepseek",
base_url=os.getenv("DEEPSEEK_BASE_URL"),
api_key=os.getenv("DEEPSEEK_API_KEY"),
)
template = PromptTemplate.from_template(template="你是一个翻译助手,帮助用户将 {content} 翻译为语言{lang},直接给出翻译结果,不需要任何额外的解释。")
template_format = template.format(content="中国是一个美丽的国家", lang="英语")
print(llm.invoke(template_format).content)
2.1.2 聊天提示模板
from langchain_core.prompts import ChatPromptTemplate
from langchain.chat_models import init_chat_model
import logging
import dotenv
dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
if __name__ == '__main__':
llm = init_chat_model(
model="deepseek-flash",
model_provider="deepseek",
)
chat_prompt_template = ChatPromptTemplate.from_messages(
messages=[
("system", "你是一个专业的翻译助手"),
("human", "请将 {content} 翻译为语言{lang},直接给出翻译结果,不需要任何额外的解释。"),
],
)
chat_message_list = chat_prompt_template.invoke({"content": "中国是一个美丽的国家", "lang": "英语"})
resp = llm.invoke(chat_message_list)
print(resp.content)
2.2 模型调用
import os
import dotenv
from langchain.chat_models import init_chat_model
import logging
dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
if __name__ == '__main__':
llm = init_chat_model(
model="deepseek-flash",
model_provider="deepseek",
base_url=os.getenv("DEEPSEEK_BASE_URL"),
api_key=os.getenv("DEEPSEEK_API_KEY"),
)
resp = llm.invoke("你是一个翻译助手,帮助用户将中文翻译成英文,直接给出翻译结果,不需要任何额外的解释。 中国是一个美丽的国家")
print(resp.content)
|
参数 |
说明 |
|
model |
模型名称或标识符,例如 deepseek-flash |
|
model_provider |
模型提供厂商,例如:deepseek(调用本地模型使用 ollama) |
|
base_url |
发送请求的 API endpoint(调用本地模型使用 http://localhost:11434)。 |
|
api_key |
与模型提供商进行身份验证所需的 API 密钥 |
|
temperature |
控制模型输出的随机性。数字越高,回答越有创意;数字越低,回答越确定 |
|
timeout |
在取消请求之前,等待模型响应的最大时间(以秒为单位) |
|
max_tokens |
限制响应中的总tokens 数量,控制输出长度 |
|
max_retries |
请求失败时系统尝试重新发送请求的最大次数 |
2.3 获取 JSON 结果
2.3.1 通过 Prompt 约束
要使用 Prompt 明确约束大模型输出,需要使用到 langchain 所提供的 JSONOutputParser,整体流程如下:
import logging
from langchain_classic.chat_models import init_chat_model
from langchain_core.output_parsers import JsonOutputParser
from pydantic import BaseModel, Field
import dotenv
dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
# 通过 Pydantic 定义 Json schema
class Prime(BaseModel):
prime: list[int] = Field(description="素数")
count: list[int] = Field(description="小于该素数的素数个数")
def json_output_parser():
llm = init_chat_model(
model="deepseek-flash",
model_provider="deepseek",
)
# 初始化 JsonOutputParser
json_parser = JsonOutputParser(pydantic_object=Prime)
# 提示词
prompt = json_parser.get_format_instructions()
res = llm.invoke([("system", prompt),
("user", "任意生成5个1000-100000之间素数,并标出小于该素数的素数个数")])
# 模型输出结果
print(res.content)
# 解析结果,并转化为字典
parsed_res = json_parser.invoke(res)
# 输出解析结果类型
print(type(parsed_res))
print(parsed_res)
if __name__ == '__main__':
json_output_parser()
2.3.2 通过厂商能力
对于主流大模型厂商,其 API 已经提供了专门的参数,用以限制模型输出内容符合要求的 schema 结构。
3. Chains
模型调用、解析器调用,以及 PromptTemplate 调用,都使用到了 invoke 方法,这是因为这些类都实现了 LangChain 最底层定义的 Runnable 接口,其代表了 LangChain 中可以调用、批处理、流式传输、转换和组合的工作单元。随着 Agent 的火热发展,LangChain框架的核心也从 Chain 这种链式结构逐渐转向支持循环迭代的 Agent。
from langchain.chat_models import init_chat_model
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
import dotenv
import logging
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
dotenv.load_dotenv()
prompt_template = PromptTemplate(
template="讲一个关于{topic}的笑话",
input_variables=["topic"],
)
llm = init_chat_model(
model="deepseek-flash",
model_provider="deepseek",
)
parser = StrOutputParser()
chain = prompt_template | llm | parser
resp = chain.invoke({"topic": "人工智能"})
print(resp)
4. Retrieval
4.1 RAG 流程
(1)构建向量数据库:从数据源加载数据,构建向量数据库。
- 从各种数据源加载数据;
- 将文档切分为小块;
- 对文本块进行嵌入;
- 存储嵌入向量。

(2)检索生成:接受用户查询并从向量数据库中检索相关数据,然后将其传递给模型。
- 根据用户输入,使用检索器从存储中检索相关文本块;
- 大模型使用包含问题和检索结果的提示生成回答。

4.2 文档加载
数据源可能包含多种格式的文件,如文本文档、Markdown,PDF 等。LangChain 实现和集成了许多文档加载器(https://docs.langchain.com/oss/python/integrations/document_loaders),方便从不同格式的文件中加载数据。
LangChain 实现了 Document 抽象,用于表示文本单元及其元数据,它包含三个属性:
- page_content:文本内容字符串。
- metadata:包含元数据的字典,如文档的来源等。
- id:可选,文档标识符。
from langchain_unstructured import UnstructuredLoader
from config import PROJECT_ROOT
if __name__ == "__main__":
file_path = [PROJECT_ROOT / "./assets/README.md", PROJECT_ROOT / "./assets/sample.docx",
PROJECT_ROOT / "./assets/sample.pdf"]
loader = UnstructuredLoader(file_path, encoding="utf-8", mode="elements")
docs = loader.load()
for doc in docs:
print(doc.page_content, end="\n============\n")
4.2.1 Mineru 加载 PDF
MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。MinerU 提供了 PDF、Word、PPT、图片等文件的解析,支持图像提取、OCR、公式、表格解析等功能。
4.3 文档切分
按照特定字符进行切分,langchain 提供了一个现成的类:RecursiveCharacterTextSplitter.
RecursiveCharacterTextSplitter(递归字符文本切分器)是最常用的切分器,它由一个字符列表作为参数,默认列表为 ["\n\n", "\n", " ", ""],并且会尝试按顺序使用这些字符进行切分,直到块足够小。由此尽可能地将所有段落(然后是句子,最后是词)保持在一起,因为这些段落通常看起来是语义上最相关的文本片段。同时为了保证段之间语义完整,可以设置每个块之间有一部分重叠。
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_unstructured import UnstructuredLoader
from config import PROJECT_ROOT
docs = UnstructuredLoader(PROJECT_ROOT / "assets/sample.docx", encoding="utf-8", mode="elements").load()
chunks = RecursiveCharacterTextSplitter(
separators=["\n\n", "\n", "。", "!", "?", "……", ",", ""],
chunk_size=400, chunk_overlap=50, length_function=len, add_start_index=True
).split_documents(docs)
for chunk in chunks:
print(chunk.page_content, end="\n============\n")
4.4 文档嵌入
将文档切分成合适的大小之后,就可以使用嵌入模型生成文档的嵌入向量,后续检索时用于与查询的嵌入向量进行相似度计算。
|
模型 |
机构 |
描述 |
|
bge-large-zh |
北京智源研究院(BAAI) |
开源,向量维度1024,序列长度512 |
|
bge-base-zh |
BAAI |
开源,向量维度768,序列长度512 |
|
bge-small-zh |
BAAI |
开源,向量维度512,序列长度512 |
|
bge-m3 |
BAAI |
开源,多语言,向量维度1024,序列长度8192 |
|
text-embedding-3-small |
OpenAI |
多语言,向量维度1536,序列长度8192 |
|
text-embedding-3-large |
OpenAI |
多语言,向量维度3072,序列长度8192 |
from langchain_huggingface import HuggingFaceEmbeddings
from config import PROJECT_ROOT
def embedding_demo():
model_name=str(PROJECT_ROOT) + "\\assets\\model\\bge-base-zh-v1.5"
embed_model = HuggingFaceEmbeddings(model_name=model_name)
# 单文本嵌入
query = "你好,世界"
query_result = embed_model.embed_query(query)
print(len(query_result))
# 多文本嵌入
docs = ["你好,世界", "世界,你好"]
res = embed_model.embed_documents(docs)
print(res)
if __name__ == "__main__":
embedding_demo()
4.5 向量存储和检索
|
向量数据库 |
描述 |
|
FAISS |
一个用于高效相似性搜索和密集向量聚类的库 |
|
Chroma |
开源的轻量级向量数据库,有极简的 API |
|
Milvus |
开源的专为向量搜索设计的云原生数据库。性能强悍,功能丰富。覆盖轻量级的原型开发到十亿级向量的大规模生产系统 |
|
Pgvector |
开源关系型数据库 PostgreSQL 的扩展,为PostgreSQL增加了向量数据类型和相似性搜索功能 |
|
Redis |
开源内存数据结构存储,现已原生支持向量相似性搜索功能 |
|
Elasticsearch |
开源分布式搜索和分析引擎,提供了一个基于文档的数据库,结构化、非结构化和向量数据通过高效的列式存储统一管理 |
Milvus 因其强大的性能(可支持数百亿级别的向量存储和检索),以及可扩缩容等相关特点,在实际生产环境下,使用非常普遍。
4.6 生成
查找到相关数据之后,就可以将所有的数据添加到与 LLM 交互的上下文当中,让LLM基于完整的上下文信息来进行生成任务。
5. Agent
Agent 是一种使用 LLM 作为推理引擎的系统,它决定要采取哪些行动以及这些行动的输入应该是什么。这些行动的结果可以反馈给 Agent,由 Agent 决定是否需要采取更多行动,或者是否可以完成。

- 大模型(LLM):作为大脑,提供推理、规划和知识理解能力。
- 记忆(Memory):具备短期记忆和长期记忆,支持快速知识检索。
- 工具(Tools):调用外部工具(如API、数据库)的执行单元。
- 规划(Planning):任务分解、反思与自省框架实现复杂任务处理。
- 行动(Action):实际执行决策的能力。
- 协作:通过与其他 Agent 交互合作,完成更复杂的任务目标。
LangChain 当中提供了一个功能函数:create_agent。create_agent 函数所需要传递的参数如下所示:
|
名称 |
是否必传 |
描述 |
|
model |
是 |
模型实例 |
|
system_prompt |
否 |
系统提示词 |
|
tools |
否 |
工具列表 |
|
response_format |
否 |
结构化输出的schema信息 |
|
checkpointer |
否 |
用以保存状态的实例,可用以实现短期记忆 |
|
middleware |
否 |
|
- 点赞
- 收藏
- 关注作者
评论(0)