1      ModelArts介绍

AI开发流程一般包含四个主要流程，数据处理，模型训练，模型管理，服务部署

ModelArts包含了整个开发流程的所有能力。

其中一种场景是云上训练，云下部署。对于这种方式，在云上只需要进行数据处理和模型训练就可可以。下面讲解一下云上训练云下部署需要如何实现。

2     数据处理

ModelArts标注平台支持图像、音频、视频、文本、表格，5种图像标注。如果输入数据是这5种场景，可以使用modelarts的标注平台完成数据标注。

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0003.html

如果输入的数据已经包含了标签，例如结构化数据，可以直接将数据上传到OBS，OBS是modelarts依赖的存储介质。

3      模型训练

模型训练通常采用两种方式：预置算法、自定义算法

3.1      预置算法：

ModelArts的AI Gallery，发布了较多官方算法，可以帮助AI开发者快速开始训练和部署模型。对于不熟悉ModelArts的用户，可以快速订阅官方推荐算法实现模型训练全流程。

AI Gallery不仅可以订阅官方发布算法，也支持用户发布自定义算法和订阅其他开发者分享的算法。为了使用他人或者ModelArts官方分享的算法，您需要将AI Gallery的算法订阅至您的ModelArts中。

阅读详情

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0232.html

最佳实践

https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0025.html

3.2      自定义算法：

如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练，可以考虑使用ModelArts支持的预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。

具体操作流程:

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0283.html

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0240.html

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0233.html

最佳实践：

https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0080.html

4      线下模型部署

前期准备工作

硬件：

x86计算节点，为了加速模型训练，可以准备带nvidia GPU的计算节点。

软件：

操作系统：Linux， Unbuntu（推荐）、CentOS

Python版本:anaconda with python 3.6

AI框架：Tensorflow 或者Pytorch，与模型训练时AI框架相同，框架版本相同。

GPU相关：最新版本gpu 驱动，与Tensorflow 版本匹配的CUDA，CUDNN

4.1.1        举例：

我选择了AI市场的yolov5预置算法进行模型训练

在算法信息侧能够查看到算法框架的具体信息

框架：Pytorch

版本：1.7.0

4.1.2        模型训练：

参考3.1章节进行模型训练，训练完成后，模型会自动输出到obs自己指定的目录里面。

因此可以将模型从OBS下载到本地，为4.1.4章节进行使用。对于pytorch框架，模型的结构信息是保存在代码中的，我们可以通过customize_service.py中查看到算法结构。

4.1.3        线下推理环境准备：

我们可以在谷歌上搜索到pytorch 1.7.0环境安装方式

4.1.4        服务部署：

同样我们可以搜索到pytorch服务部署的流程。

使用4.1.2章节模型输出的结果实现在线服务的部署。

这里以yolov5预置算法进行举例，如果是tensorflow框架可以查找对应tensorflow的资料。

5      扩展阅读

ModelArts新手必读 https://bbs.huaweicloud.com/forum/thread-50805-1-1.html

ModelArts视频讲解 https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE017+Self-paced/about?isAuth=0&cfrom=hwc

ModelArts问题索引 https://bbs.huaweicloud.com/blogs/237546