建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想
选择版块
ModelArts 主题:5950帖子:26355

【 学习资源-教程】

如何部署模型到ModelArts并远程调用

ModelArts... 2020/7/21 15144
# 如何部署模型到ModelArts并远程调用 本文章会介绍如何将训练好的AI模型部署到ModelArts上,成为一个在线API服务,并通过互联网对外提供服务。 本文章不考虑自定义镜像的场景,因为方式比较复杂。 本文章会大量复用ModelArts的帮助文档,但是会添加一些自己的见解和评论,并将帮助文档中的内容组织成一个工作流。 ## 模型部署流程介绍 如果想要将训练好的模型部署到ModelArts上,并通过互联网对外提供服务,需要完成以下几个步骤。 - 第一步,需要将模型保存成ModelArts部署支持的模型格式。请参考:保存模型为平台支持的格式。 - 第二步,编写推理配置文件,config.json。在该文件中定义模型推理环境。请参考:编写推理配置文件。 - 第三步,编写推理代码, customize_service.py 。在该文件中编写推理逻辑。请参考:编写推理代码。 - 第四步,将模型、推理代码、推理配置文件组织成模型包,导入到ModelArts,成为一个ModelArts模型。请参考:导入模型。 - 第五步,将ModelArts模型部署成一个在线API服务,并通过HTTPS请求访问这个在线API服务。请参考:如何调用在线API服务。 接下来,我们将依次详细介绍这几个步骤。 ## 保存模型为平台支持的格式 要想将模型部署到ModelArts上,需要将模型保存为ModelArts部署支持的格式。 各个AI框架支持的部署格式见[此文档](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0091.html#section0)。 关于如何将模型保存成这些格式,见[此示例](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0172.html)。请参考其中的各个AI引擎的训练代码的写法,在训练结束的时候,会保存模型为ModelArts平台支持的格式。 这里特别提一点,由于Keras非常简单易用,很多开发者喜欢使用Keras。目前TF2.X对Keras支持的特别好,可以直接将Keras模型保存成TensorFlow的pb模型(平台支持的模型部署格式),使用如下代码即可完成: ```python model.fit(x_train, y_train, epochs=10) tf.keras.models.save_model(model, "./mnist") ``` 由于篇幅过长,超出论坛字数限制,所以将文章以附件的形式上传,提供了两种格式,PDF和Markdown,谢谢。

    如何部署模型到ModelArts并远程调用.pdf 603 KB,下载次数:229 预览

    如何部署模型到ModelArts并远程调用MarkDown.zip 8.13 KB,下载次数:54

回复45

Tianyi_Li
0 0
2020/7/21 23:06

太棒了,赞!

2020/7/21 23:20

在ModelArts上,部署一直很困难,这个案例很好,点赞。

2020/7/21 23:36

感谢分享,在ModelArts上,如何部署推理的案例,越多越好。 这方面的坑太多了。

胡琦
0 0
2020/7/22 00:03

感谢分享

2020/7/22 09:37

大佬牛逼,收下小弟膝盖

2020/7/22 14:57

美文!希望越来越多生态加入

jfly_123
0 0
2020/7/25 14:11

大赞

jewaa
0 0
2020/8/9 11:37

赞!在训练完毕模型后,一直在部署方面有所困惑,看完本次教程后成功部署。

找虫虫
0 0
2020/8/17 10:18

厉害了,点赞!

上划加载中
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

ModelArts论坛管理

发帖: 57粉丝: 0

级别 : 版主

发消息 + 关注

发表于2020年07月21日 22:56:39 15144 45
直达本楼层的链接
楼主
只看该作者
如何部署模型到ModelArts并远程调用

# 如何部署模型到ModelArts并远程调用 本文章会介绍如何将训练好的AI模型部署到ModelArts上,成为一个在线API服务,并通过互联网对外提供服务。 本文章不考虑自定义镜像的场景,因为方式比较复杂。 本文章会大量复用ModelArts的帮助文档,但是会添加一些自己的见解和评论,并将帮助文档中的内容组织成一个工作流。 ## 模型部署流程介绍 如果想要将训练好的模型部署到ModelArts上,并通过互联网对外提供服务,需要完成以下几个步骤。 - 第一步,需要将模型保存成ModelArts部署支持的模型格式。请参考:保存模型为平台支持的格式。 - 第二步,编写推理配置文件,config.json。在该文件中定义模型推理环境。请参考:编写推理配置文件。 - 第三步,编写推理代码, customize_service.py 。在该文件中编写推理逻辑。请参考:编写推理代码。 - 第四步,将模型、推理代码、推理配置文件组织成模型包,导入到ModelArts,成为一个ModelArts模型。请参考:导入模型。 - 第五步,将ModelArts模型部署成一个在线API服务,并通过HTTPS请求访问这个在线API服务。请参考:如何调用在线API服务。 接下来,我们将依次详细介绍这几个步骤。 ## 保存模型为平台支持的格式 要想将模型部署到ModelArts上,需要将模型保存为ModelArts部署支持的格式。 各个AI框架支持的部署格式见[此文档](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0091.html#section0)。 关于如何将模型保存成这些格式,见[此示例](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0172.html)。请参考其中的各个AI引擎的训练代码的写法,在训练结束的时候,会保存模型为ModelArts平台支持的格式。 这里特别提一点,由于Keras非常简单易用,很多开发者喜欢使用Keras。目前TF2.X对Keras支持的特别好,可以直接将Keras模型保存成TensorFlow的pb模型(平台支持的模型部署格式),使用如下代码即可完成: ```python model.fit(x_train, y_train, epochs=10) tf.keras.models.save_model(model, "./mnist") ``` 由于篇幅过长,超出论坛字数限制,所以将文章以附件的形式上传,提供了两种格式,PDF和Markdown,谢谢。

如何部署模型到ModelArts并远程调用.pdf 603 KB,下载次数:229 预览

如何部署模型到ModelArts并远程调用MarkDown.zip 8.13 KB,下载次数:54

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

Tianyi_Li

发帖: 407粉丝: 258

发消息 + 关注

发表于2020年07月21日 23:06:01
直达本楼层的链接
沙发
只看该作者

太棒了,赞!

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复
发表于2020年07月21日 23:20:03
直达本楼层的链接
板凳
只看该作者

在ModelArts上,部署一直很困难,这个案例很好,点赞。

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

AI学习者

发帖: 41粉丝: 0

发消息 + 关注

发表于2020年07月21日 23:36:17
直达本楼层的链接
地板
只看该作者

感谢分享,在ModelArts上,如何部署推理的案例,越多越好。 这方面的坑太多了。

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

胡琦

发帖: 90粉丝: 40

发消息 + 关注

发表于2020年07月22日 00:03:19
直达本楼层的链接
5#
只看该作者

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

qinggedada

发帖: 30粉丝: 15

发消息 + 关注

发表于2020年07月22日 09:37:30
直达本楼层的链接
6#
只看该作者

大佬牛逼,收下小弟膝盖

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

建行袁覃

发帖: 20粉丝: 10

发消息 + 关注

发表于2020年07月22日 14:57:31
直达本楼层的链接
7#
只看该作者

美文!希望越来越多生态加入

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

jfly_123

发帖: 0粉丝: 1

发消息 + 关注

发表于2020年07月25日 14:11:21
直达本楼层的链接
9#
只看该作者

大赞

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

jewaa

发帖: 2粉丝: 0

发消息 + 关注

发表于2020年08月09日 11:37:11
直达本楼层的链接
10#
只看该作者

赞!在训练完毕模型后,一直在部署方面有所困惑,看完本次教程后成功部署。

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

找虫虫

发帖: 0粉丝: 1

发消息 + 关注

发表于2020年08月17日 10:18:03
直达本楼层的链接
11#
只看该作者

厉害了,点赞!

点赞 评论 引用 举报

游客

您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200