LangChain 介绍

举报
剑指南天 发表于 2026/11/21 14:15:28 2026/11/21
【摘要】 LangChain 提供了现成的构建 Agent 的方式。让复杂的逻辑变得结构化、易组合、易扩展。

1.概述

LangChain的核心组件,从逻辑上可以划分为以下四大部分:Model I/O、Chains、RAG、Agents。

1.1 Model I/O

标准化大模型的输入和输出,包含提示模版,模型调用和格式化输出。

1.2 Chains

Chains 用于将多个组件组合成一个完整的流程,用于复杂任务的处理。

1.3 Retrieval

通过检索外部数据作为 LLM 参考信息输入,辅助生成答案。

1.4 Agents

Agent 自主规划执行步骤并使用工具来完成任务。

2. Model I/O

Model I/O 是与语言模型进行交互的核心组件,包括输入提示(Prompt Template)、调用模型(Model)、输出解析(Output Parser)。

2.1 Prompt Template

在应用开发中,固定的提示词限制了模型的灵活性和适用范围。通过提示词模板,可以将变量插入到模板中,从而创建出不同的Prompt。常用的有 PromptTemplate(字符串提示模板)和 ChatPromptTemplate(聊天提示模板)。

2.1.1 字符串提示模板

import logging
import os
import dotenv
from langchain.chat_models import init_chat_model
from langchain_core.prompts import PromptTemplate
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
dotenv.load_dotenv()

if __name__ == '__main__':
    llm = init_chat_model(
        model="deepseek-flash",
        model_provider="deepseek",
        base_url=os.getenv("DEEPSEEK_BASE_URL"),
        api_key=os.getenv("DEEPSEEK_API_KEY"),
    )

    template = PromptTemplate.from_template(template="你是一个翻译助手,帮助用户将 {content} 翻译为语言{lang},直接给出翻译结果,不需要任何额外的解释。")
    template_format = template.format(content="中国是一个美丽的国家", lang="英语")
    print(llm.invoke(template_format).content)

2.1.2 聊天提示模板

from langchain_core.prompts import ChatPromptTemplate
from langchain.chat_models import init_chat_model
import logging
import dotenv
dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")

if __name__ == '__main__':
    llm = init_chat_model(
        model="deepseek-flash",
        model_provider="deepseek",
    )
    chat_prompt_template = ChatPromptTemplate.from_messages(
        messages=[
            ("system", "你是一个专业的翻译助手"),
            ("human", "请将 {content} 翻译为语言{lang},直接给出翻译结果,不需要任何额外的解释。"),
        ],
    )
    chat_message_list = chat_prompt_template.invoke({"content": "中国是一个美丽的国家", "lang": "英语"})
    resp = llm.invoke(chat_message_list)
    print(resp.content)

2.2 模型调用

import os
import dotenv
from langchain.chat_models import init_chat_model
import logging

dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")

if __name__ == '__main__':
    llm = init_chat_model(
        model="deepseek-flash",
        model_provider="deepseek",
        base_url=os.getenv("DEEPSEEK_BASE_URL"),
        api_key=os.getenv("DEEPSEEK_API_KEY"),
    )
    resp = llm.invoke("你是一个翻译助手,帮助用户将中文翻译成英文,直接给出翻译结果,不需要任何额外的解释。 中国是一个美丽的国家")
    print(resp.content)

参数

 说明

model

模型名称或标识符,例如 deepseek-flash

model_provider

模型提供厂商,例如:deepseek(调用本地模型使用 ollama)

base_url

发送请求的 API endpoint(调用本地模型使用 http://localhost:11434)。

api_key

与模型提供商进行身份验证所需的 API 密钥

temperature

控制模型输出的随机性。数字越高,回答越有创意;数字越低,回答越确定

timeout

在取消请求之前,等待模型响应的最大时间(以秒为单位)

max_tokens

限制响应中的总tokens 数量,控制输出长度

max_retries

请求失败时系统尝试重新发送请求的最大次数

2.3 获取 JSON 结果

2.3.1 通过 Prompt 约束

要使用 Prompt 明确约束大模型输出,需要使用到 langchain 所提供的 JSONOutputParser,整体流程如下:

import logging
from langchain_classic.chat_models import init_chat_model
from langchain_core.output_parsers import JsonOutputParser
from pydantic import BaseModel, Field
import dotenv
dotenv.load_dotenv()
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")

# 通过 Pydantic 定义 Json schema
class Prime(BaseModel):
    prime: list[int] = Field(description="素数")
    count: list[int] = Field(description="小于该素数的素数个数")

def json_output_parser():
    llm = init_chat_model(
        model="deepseek-flash",
        model_provider="deepseek",
    )
    # 初始化 JsonOutputParser
    json_parser = JsonOutputParser(pydantic_object=Prime)
    # 提示词
    prompt = json_parser.get_format_instructions()
    res = llm.invoke([("system", prompt),
                      ("user", "任意生成5个1000-100000之间素数,并标出小于该素数的素数个数")])
    # 模型输出结果
    print(res.content)
    # 解析结果,并转化为字典
    parsed_res = json_parser.invoke(res)
    # 输出解析结果类型
    print(type(parsed_res))
    print(parsed_res)

if __name__ == '__main__':
    json_output_parser()

2.3.2 通过厂商能力

对于主流大模型厂商,其 API 已经提供了专门的参数,用以限制模型输出内容符合要求的 schema 结构。

3. Chains

模型调用、解析器调用,以及 PromptTemplate 调用,都使用到了 invoke 方法,这是因为这些类都实现了 LangChain 最底层定义的 Runnable 接口,其代表了 LangChain 中可以调用、批处理、流式传输、转换和组合的工作单元。随着 Agent 的火热发展,LangChain框架的核心也从 Chain 这种链式结构逐渐转向支持循环迭代的 Agent。

from langchain.chat_models import init_chat_model
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
import dotenv
import logging
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s %(filename)s %(message)s")
dotenv.load_dotenv()

prompt_template = PromptTemplate(
    template="讲一个关于{topic}的笑话",
    input_variables=["topic"],
)
llm = init_chat_model(
    model="deepseek-flash",
    model_provider="deepseek",
)
parser = StrOutputParser()

chain = prompt_template | llm | parser
resp = chain.invoke({"topic": "人工智能"})
print(resp)

4. Retrieval

4.1 RAG 流程

(1)构建向量数据库:从数据源加载数据,构建向量数据库。

  1. 从各种数据源加载数据;
  2. 将文档切分为小块;
  3. 对文本块进行嵌入;
  4. 存储嵌入向量。

(2)检索生成:接受用户查询并从向量数据库中检索相关数据,然后将其传递给模型。

  1. 根据用户输入,使用检索器从存储中检索相关文本块;
  2. 大模型使用包含问题和检索结果的提示生成回答。

4.2 文档加载

数据源可能包含多种格式的文件,如文本文档、Markdown,PDF 等。LangChain 实现和集成了许多文档加载器(https://docs.langchain.com/oss/python/integrations/document_loaders),方便从不同格式的文件中加载数据。

LangChain 实现了 Document 抽象,用于表示文本单元及其元数据,它包含三个属性:

  1. page_content:文本内容字符串。
  2. metadata:包含元数据的字典,如文档的来源等。
  3. id:可选,文档标识符。
from langchain_unstructured import UnstructuredLoader
from config import PROJECT_ROOT

if __name__ == "__main__":
    file_path = [PROJECT_ROOT / "./assets/README.md", PROJECT_ROOT / "./assets/sample.docx",
                 PROJECT_ROOT / "./assets/sample.pdf"]
    loader = UnstructuredLoader(file_path, encoding="utf-8", mode="elements")
    docs = loader.load()
    for doc in docs:
        print(doc.page_content, end="\n============\n")

4.2.1 Mineru 加载 PDF

MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。MinerU 提供了 PDF、Word、PPT、图片等文件的解析,支持图像提取、OCR、公式、表格解析等功能。

4.3 文档切分

按照特定字符进行切分,langchain 提供了一个现成的类:RecursiveCharacterTextSplitter.

RecursiveCharacterTextSplitter(递归字符文本切分器)是最常用的切分器,它由一个字符列表作为参数,默认列表为 ["\n\n", "\n", " ", ""],并且会尝试按顺序使用这些字符进行切分,直到块足够小。由此尽可能地将所有段落(然后是句子,最后是词)保持在一起,因为这些段落通常看起来是语义上最相关的文本片段。同时为了保证段之间语义完整,可以设置每个块之间有一部分重叠。

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_unstructured import UnstructuredLoader
from config import PROJECT_ROOT

docs = UnstructuredLoader(PROJECT_ROOT / "assets/sample.docx", encoding="utf-8", mode="elements").load()
chunks = RecursiveCharacterTextSplitter(
    separators=["\n\n", "\n", "。", "!", "?", "……", ",", ""],
    chunk_size=400, chunk_overlap=50, length_function=len, add_start_index=True
).split_documents(docs)
for chunk in chunks:
    print(chunk.page_content, end="\n============\n")

4.4 文档嵌入

将文档切分成合适的大小之后,就可以使用嵌入模型生成文档的嵌入向量,后续检索时用于与查询的嵌入向量进行相似度计算。

模型

机构

描述

bge-large-zh

北京智源研究院(BAAI)

开源,向量维度1024,序列长度512

bge-base-zh

BAAI

开源,向量维度768,序列长度512

bge-small-zh

BAAI

开源,向量维度512,序列长度512

bge-m3

BAAI

开源,多语言,向量维度1024,序列长度8192

text-embedding-3-small

OpenAI

多语言,向量维度1536,序列长度8192

text-embedding-3-large

OpenAI

多语言,向量维度3072,序列长度8192

from langchain_huggingface import HuggingFaceEmbeddings
from config import PROJECT_ROOT

def embedding_demo():
    model_name=str(PROJECT_ROOT) + "\\assets\\model\\bge-base-zh-v1.5"
    embed_model = HuggingFaceEmbeddings(model_name=model_name)
    # 单文本嵌入
    query = "你好,世界"
    query_result = embed_model.embed_query(query)
    print(len(query_result))

    # 多文本嵌入
    docs = ["你好,世界", "世界,你好"]
    res = embed_model.embed_documents(docs)
    print(res)

if __name__ == "__main__":
    embedding_demo()

4.5 向量存储和检索

向量数据库

描述

FAISS

一个用于高效相似性搜索和密集向量聚类的库

Chroma

开源的轻量级向量数据库,有极简的 API

Milvus

开源的专为向量搜索设计的云原生数据库。性能强悍,功能丰富。覆盖轻量级的原型开发到十亿级向量的大规模生产系统

Pgvector

开源关系型数据库 PostgreSQL 的扩展,为PostgreSQL增加了向量数据类型和相似性搜索功能

Redis

开源内存数据结构存储,现已原生支持向量相似性搜索功能

Elasticsearch

开源分布式搜索和分析引擎,提供了一个基于文档的数据库,结构化、非结构化和向量数据通过高效的列式存储统一管理

Milvus 因其强大的性能(可支持数百亿级别的向量存储和检索),以及可扩缩容等相关特点,在实际生产环境下,使用非常普遍。

4.6 生成

查找到相关数据之后,就可以将所有的数据添加到与 LLM 交互的上下文当中,让LLM基于完整的上下文信息来进行生成任务。

5. Agent

Agent 是一种使用 LLM 作为推理引擎的系统,它决定要采取哪些行动以及这些行动的输入应该是什么。这些行动的结果可以反馈给 Agent,由 Agent 决定是否需要采取更多行动,或者是否可以完成。

  • 大模型(LLM):作为大脑,提供推理、规划和知识理解能力。
  • 记忆(Memory):具备短期记忆和长期记忆,支持快速知识检索。
  • 工具(Tools):调用外部工具(如API、数据库)的执行单元。
  • 规划(Planning):任务分解、反思与自省框架实现复杂任务处理。
  • 行动(Action):实际执行决策的能力。
  • 协作:通过与其他 Agent 交互合作,完成更复杂的任务目标。

LangChain 当中提供了一个功能函数:create_agent。create_agent 函数所需要传递的参数如下所示:

名称

是否必传

描述

model

是

模型实例

system_prompt

否

系统提示词

tools

否

工具列表

response_format

否

结构化输出的schema信息

checkpointer

否

用以保存状态的实例,可用以实现短期记忆

middleware

否

  • 要应用于代理的一系列中间件实例。
  • 中间件可以在各个阶段拦截并修改代理的行为
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。