如何在Dify中配置MaaS服务
一、登录Dify控制台更新MaaS插件
1、登录Dify:在浏览器地址页输入“http:ip:80”,其中ip为一键部署创建的L实例公网ip,登录Dify控制台,单击右上角“插件”按钮。
2、更新MaaS插件:按下图所示在搜索框中搜索maas,单击插件版本,将插件切换到0.0.5版本。
二、添加大语言模型
1、进入设置页面:单击右上方用户头像选择“设置”。
2、Maas平台设置:单击“模型供应商”,在右侧模型列表点击“华为云MAAS平台”列表中的“设置”。
3、获取API key:在设置弹框中的左下方点击“获取API key”。
4、创建API Key:跳转至华为云modelArts控制台API key管理页,点击右上角“创建API Key”。
5、复制API Key:在创建API Key弹框中输入标签与描述,然后点击“确定”按钮,即可获得API Key. 点击复制API Key。
6、LLM模型配置:返回Dify设置华为云MaaS平台弹框中,输入API Key。然后点击保存,完成LLM模型的配置。
如果MaaS插件版本小于0.0.5或有使用OpenAI-API的需求执行以下部署。
三、添加Embedding&Reranker模型(可选)
1、添加模型:在右侧模型列表点击“OpenAI-API-compatible”列表中“添加模型”。
2、添加Reranker模型:弹出窗口中按下图所示依次选择模型类型为Rerank,填写模型名称为“bge-reranker-v2-m3”,API Key为“添加大语言模型获取的API Key”,API endpoint URL为“https://api.modelarts-maas.com/v1”,单击“保存”。
3、添加Embedding模型:弹出窗口中按下图所示依次选择模型类型为Text Embedding,填写模型名称为“bge-m3”,API Key为“添加大语言模型获取的API Key”,API endpoint URL为“https://api.modelarts-maas.com/v1”,单击“保存”。
- 点赞
- 收藏
- 关注作者
评论(0)