华为云ModelArts Studio，助力快速搭建专属大模型
概述
ModelArts Studio大模型即服务平台（后续简称为MaaS服务），提供了简单易用的模型开发工具链，支持大模型定制开发，让模型应用与业务系统无缝衔接，降低企业AI落地的成本与难度。用户无需自建平台，可以基于MaaS平台开箱即用，对预置大模型进行二次开发，用于生产商用。
使用指导
步骤一：选择模型
1.登录ModelArts Studio平台（仅华东二区域支持）。
步骤二：创建模型
1.在MaaS的模型广场选择您想要使用的大语言模型，点击立即使用。为保证Agent效果，我们建议使用7B及以上参数量的模型。本实例选择“Llama3.1-8B”，单击立即使用。
2.单击左上角创建模型，在右侧弹出窗口中自定义模型名称，选择要使用的权重文件。MaaS已预置了原始的开源模型权重，同时支持从OBS桶中导入微调过的自定义权重，本示例选择使用“使用推荐权重”，配置好后点击创建。
步骤三：部署推理模型
1.单击右上角的部署按钮。
2.在部署页面中配置服务的名称，并选择使用的资源规格和QPS，配置好后点击提交，启动模型部署。
步骤四：接口与模型名获取
1.服务状态为“运行中”时，表示已部署完成，此时可以单击右侧的“更多”-->“调用”。
2.在弹窗中可以查看到该服务的API地址以及调用时使用的模型名称。
步骤五：API Key创建
1.在MaaS左侧导航栏中，选择“鉴权管理”。
2.在“鉴权管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。
说明：
-最多支持创建5个密钥，密钥只会在新建后显示一次，请妥善保存。
-当密钥丢失将无法找回，请新建API Key获取新的访问密钥。
步骤六：模型供应商配置
1.浏览器进入您部署的Dify平台界面，如果您想快速部署开箱即用的Dify LLM应用开发平台，可参考：快速搭建Dify LLM应用开发平台。
2.点击右上角个人的“设置”。
3.进入模型供应商页签，选择OpenAI-API-compatible供应商
4.信息配置：
-"模型名称"请填入步骤四服务信息中的模型名称
-"API Key" 请填入步骤五中创建的API Key
-"API endpoint URL"请填入步骤四中的API地址，并且删除最后面的“chat/completions”部分
"Completion mode"请选择对话
步骤七：应用构建
1.在Dify中创建聊天助手，Agent时，可以选择已配置的MaaS模型服务进行应用编排。
2.Dify支持Agent构建、工作流编排、知识库问答等多样应用构建能力，具体有关Dify的详细使用可参考：探索Dify：开启AI应用开发的新篇章
- 点赞
- 收藏
- 关注作者
评论（0）