使用PyCharm在ModelArts上进行模型开发

1. 模型开发 What and Why

PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。
使用PyCharm插件配合ModelArts：

• 一键帮助用户配置远程ModelArts Notebook，免去用户手工配置
• 按需使用Notebook资源，启动停止，随心所欲
• 本地代码提交至ModelArts训练任务，沉浸式AI开发体验

ModelArts是华为云一站式AI开发平台，“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。

AI模型开发的过程，称之为Modeling，一般包含两个阶段：

• 开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。
• 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。

两个过程可以相互转换。如开发阶段代码稳定后，则会进入实验阶段，通过不断尝试调整超参来迭代模型；或在实验阶段，有一个可以优化训练的性能的想法，则会回到开发阶段，重新优化代码

2. 实操体验 How to Use

2.1 插件安装和登录

2.1.1 插件安装

选择File>Settings>Plugins，在Marketplace里搜索“ModelArts”,点击Install即可完成安装。

2.1.2 插件登录

安装完插件后，会在IDE菜单栏出现ModelArts，点击后选择Edit Credential,出现如下页面

点击插件的How to get AK/SK，跳转到华为云文档去按照指导获取AK/SK，把AK/SK填入登录框中，点击OK，即可完成登录。

2.2 训练代码和数据准备

在本博客中，通过附件进行下载获取。

获取完代码和数据中，需要把训练数据上传至OBS中，为下一步提交训练作业做好准备。

进入到OBS控制台中，如果没有OBS桶，需要创建一个，如果已有桶，在该桶下新建一个data文件夹，把已下载好的训练数据上传至该OBS文件夹中。

和data文件夹同级，创建一个job文件夹，用来存放提交的训练作业。

首先获取OBS桶地址，在网页端进行点击获取，地址类似为obs://3xdata

通过拼接获取到data和job文件夹OBS地址分别为：

data:obs://3xdata/data/

job:obs://3xdata/job/

2.3 提交训练作业

通过PyCharm把下载好的训练文件打开，点击插件的Training Job进行训练作业提交

在打开的页面中，选择和填入如下参数：

• Engine必须选择tensorflow_2.1.0

• 启动文件和目录必须位于当前打开项目

• OBS Path为上一步获得地址

• Specifications可以选择免费规格或者CPU/GPU规格

填写无误后，点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出

点击日志中的网站链接地址，可以在网页端看当训练作业相关详情，完成网页端信息截图即可

恭喜大家，至此，我们的在ModelArts上进行模型开发的体验就顺利完成了。

3. 更多探索 Learn More

​ 如果拥有PyCharm专业版，还可以体验更多丰富功能，使用Notebook进行开发调试后，再进行训练作业提交，可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html