ModelArts云上训练,云下推理介绍
1 ModelArts介绍
AI开发流程一般包含四个主要流程,数据处理,模型训练,模型管理,服务部署
ModelArts包含了整个开发流程的所有能力。
其中一种场景是云上训练,云下部署。对于这种方式,在云上只需要进行数据处理和模型训练就可可以。下面讲解一下云上训练云下部署需要如何实现。
2 数据处理
ModelArts标注平台支持图像、音频、视频、文本、表格,5种图像标注。如果输入数据是这5种场景,可以使用modelarts的标注平台完成数据标注。
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0003.html
如果输入的数据已经包含了标签,例如结构化数据,可以直接将数据上传到OBS,OBS是modelarts依赖的存储介质。
3 模型训练
模型训练通常采用两种方式:预置算法、自定义算法
3.1 预置算法:
ModelArts的AI Gallery,发布了较多官方算法,可以帮助AI开发者快速开始训练和部署模型。对于不熟悉ModelArts的用户,可以快速订阅官方推荐算法实现模型训练全流程。
AI Gallery不仅可以订阅官方发布算法,也支持用户发布自定义算法和订阅其他开发者分享的算法。为了使用他人或者ModelArts官方分享的算法,您需要将AI Gallery的算法订阅至您的ModelArts中。
阅读详情
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0232.html
最佳实践
https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0025.html
3.2 自定义算法:
如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练,可以考虑使用ModelArts支持的预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。
具体操作流程:
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0283.html
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0240.html
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0233.html
最佳实践:
https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0080.html
4 线下模型部署
前期准备工作
硬件:
x86计算节点,为了加速模型训练,可以准备带nvidia GPU的计算节点。
软件:
操作系统:Linux, Unbuntu(推荐)、CentOS
Python版本:anaconda with python 3.6
AI框架:Tensorflow 或者Pytorch,与模型训练时AI框架相同,框架版本相同。
GPU相关:最新版本gpu 驱动,与Tensorflow 版本匹配的CUDA,CUDNN
4.1.1 举例:
我选择了AI市场的yolov5预置算法进行模型训练
在算法信息侧能够查看到算法框架的具体信息
框架:Pytorch
版本:1.7.0
4.1.2 模型训练:
参考3.1章节进行模型训练,训练完成后,模型会自动输出到obs自己指定的目录里面。
因此可以将模型从OBS下载到本地,为4.1.4章节进行使用。对于pytorch框架,模型的结构信息是保存在代码中的,我们可以通过customize_service.py中查看到算法结构。
4.1.3 线下推理环境准备:
我们可以在谷歌上搜索到pytorch 1.7.0环境安装方式
4.1.4 服务部署:
同样我们可以搜索到pytorch服务部署的流程。
使用4.1.2章节模型输出的结果实现在线服务的部署。
这里以yolov5预置算法进行举例,如果是tensorflow框架可以查找对应tensorflow的资料。
5 扩展阅读
ModelArts新手必读 https://bbs.huaweicloud.com/forum/thread-50805-1-1.html
ModelArts视频讲解 https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE017+Self-paced/about?isAuth=0&cfrom=hwc
ModelArts问题索引 https://bbs.huaweicloud.com/blogs/237546
- 点赞
- 收藏
- 关注作者
评论(0)