华为云ModelArts Studio,助力DeepSeek模型
【摘要】 ModelArts Studio大模型即服务平台(后续简称为MaaS服务),提供了简单易用的模型开发工具链,支持大模型定制开发,让模型应用与业务系统无缝衔接,降低企业AI落地的成本与难度。
概述
ModelArts Studio大模型即服务平台(后续简称为MaaS服务),提供了简单易用的模型开发工具链,支持大模型定制开发,让模型应用与业务系统无缝衔接,降低企业AI落地的成本与难度。MaaS大模型即服务平台给新用户分配了每个模型100万Tokens的免费调用额度,无需部署即可一键体验DeepSeek、通义千问、Llama、ChatGLM等预置模型服务。
步骤一、部署DeepSeek-R1-Distill-Qwen-32B模型
1.登录ModelArts Studio 平台(华东二区域支持DeepSeek-R1-Distill-Qwen-32B,西南贵阳一区域支持DeepSeek-V3、DeepSeek-R1),本文以部署DeepSeek-R1-Distill-Qwen-32B为例。
2. 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表,选择“预置服务”页签。
3. 领取免费调用额度。在预置服务列表,选择所需的服务,单击操作列的“领取”。当领取置灰时,表示该服务的免费额度已领取。
4. 有以下两种方式免费体验预置服务。
a.在“模型体验”页面进行推理。
在预置服务列表,选择所需的服务,本文以“DeepSeek-R1-Distill-Qwen-32B”为例,单击操作列的“体验”,跳转到“模型体验”页面,进行参数设置后,即可开始问答体验。操作指导请参见在 MaaS 体验模型服务 。
【说明】
当操作列的“体验”置灰时,表示Tokens的免费调用额度已使用完。
b.在业务环境中调用模型服务的API进行推理。
在预置服务列表,选择所需的服务,单击操作列的“更多 > 调用”,在调用弹窗中获取API地址和调用示例,在业务环境中调用API进行体验。操作指导请参见调用 MaaS 部署的模型服务 。
【说明】
当调用模型服务的API,返回状态码“429 Too Many Requests”时,表示请求超过流控,请稍后重新调用。
5.(可选)当免费Token额度用完后,还要继续使用该模型,建议部署为“我的服务”使用。
a.在预置服务列表,选择所需的服务,单击操作列的“更多 > 部署为我的服务”,跳转到“创建模型”页面。
b.在创建模型页面,完成参数配置,创建我的模型。操作指导请参见在 MaaS 中创建模型 。
c.当模型创建成功后,需要部署成模型服务,操作指导请参见使用 MaaS 部署模型服务 。
d.模型服务部署成功后,即可继续使用。
步骤二、创建API-Key
1.在MaaS左侧导航栏中,选择“鉴权管理”。
2.在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。
说明:
-最多支持创建5个密钥,密钥只会在新建后显示一次,请妥善保存。
-当密钥丢失将无法找回,请新建API Key获取新的访问密钥。
步骤三、对接Dify平台
1.浏览器进入您部署的Dify平台界面,如果您想快速部署开箱即用的Dify LLM应用开发平台,可参考:快速搭建Dify LLM应用开发平台。
2.点击右上角个人的“设置”。
3.进入模型供应商页签,选择OpenAI-API-compatible供应商
4.信息配置:
-"模型名称"请填入步骤一4下“b.在业务环境中调用模型服务的API进行推理”服务信息中的模型名称
-"API Key" 请填入步骤二中创建的API Key
-"API endpoint URL"请填入步骤一4下“b.在业务环境中调用模型服务的API进行推理”的API地址,并且删除最后面的“chat/completions”部分
"Completion mode"请选择对话
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
yd_2465601832025/02/24 09:32:551楼编辑删除举报
有没有什么解决办法
yd_2617852672025/03/04 03:44:542楼编辑删除举报