xPU部署DeepSeek与Dify应用对接

DeepSeek-R1是一个高性能的AI推理模型，专注于数学、代码和自然语言推理任务，通过Ollama在云服务器中部署DeepSeek-R1蒸馏版轻量模型，快速打造您的私人AI助手。

Dify是一款开源的 LLM 应用开发平台，提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。

本文将带您实现在xPU(CPU、GPU)上快速搭建DeepSeek-R1蒸馏版模型和Dify应用并实现对接。

在做本文档实践操作部分之前，您需要提前完成如下操作：

• 在华为云Flexus X实例一键部署Dify，请参考部署文档；
• 在华为云云服务器上一键部署deepseek-r1蒸馏版模型，请参考部署文档

步骤1 获取IP地址：登录弹性云服务器 ECS控制台，获取Dify开发平台弹性公网 IP地址和私有 IP地址。

图1 获取公网IP

步骤2 浏览器访问Dify开发平台：浏览器输入http://[弹性公网IP]，访问Dify的开发平台。首次登录需注册管理员账号，依次填写邮箱、账号、密码。

图2 Dify开发平台

图3 登录Dify平台

步骤3 Dify设置：右侧单击“用户名称”下拉并单击“设置”。

图4 设置

步骤4 添加模型：单击左侧“模型供应商”，在Ollama下单击“添加模型”。

图5 添加模型

步骤5 Ollama模型配置：模型名称填写2快速部署中部署的模型，如“deepseek-r1:7b”，基础URL填写步骤1中获取的私网IP地址（如果部署的Dify应用和DeepSeek-R1蒸馏版模型不在同一服务器，需填写DeepSeek-R1蒸馏版模型所在服务器的公网IP），端口号11434（使用公网连接时，模型服务器所在安全组需放通11434端口，请参考添加安全组规则。），单击右下角“保存”并关闭“设置”。

图6 添加Ollama

步骤6 创建应用：选择“创建空白应用”，单击“聊天助手”并填写“应用名称&图标”，单击右下角“创建”。

图11 创建空白应用

图12 创建应用

步骤7 调试预览：单击“编排”，在右下角“和机器人聊天”中输入内容即可调试预览。

图13 调试与预览