如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源

举报
麦克周 发表于 2020/04/20 19:19:44 2020/04/20
【摘要】 其实ModelArts的帮助手册上已经有一篇文档:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我觉得可能开发者还是会存在一些小疑问,所以我自己在本地做了尝试,截图说明过程。我们实际上使用一个PyCharm ToolKit工具来帮助建立从本地pyCharm IDE到ModelAr...

其实ModelArts的帮助手册上已经有一篇文档:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我觉得可能开发者还是会存在一些小疑问,所以我自己在本地做了尝试,截图说明过程。


我们实际上使用一个PyCharm ToolKit工具来帮助建立从本地pyCharm IDE到ModelArts的连接通道,本案例我使用MXNet实现手写数字图像识别应用的示例,在本地快速完成代码编写,发布到ModelArts公有云完成模型的训练和模型生成,生成的模型可以进一步快速进行部署(本文没有覆盖该步骤)。


安装toolkit前需要先安装2019.2版本(目前toolkit仅适配该版本)的pycharm,下载地址是:

https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去华为云官网下载(好处是那里会持续更新版本,较为及时):https://developer.huaweicloud.com/tools。


需要注意,如果已经安装了高版本的pyCharm,需要首先卸载(自动)已安装的pyCharm

下载一个工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,连接本地IDE与云之间的链路:

https://www.jetbrains.com/pycharm/download/other.html

解压后看到一堆jar文件,

接着回到pyCharm IDE,打开Settings:

找到Plugins,选择一个插件:

点击RestartIDE

重启后看到如下界面:

然后我们需要去ModelArts网站申明秘钥:

申请秘钥:

短信验证码注册成功后,请务必把csv文件保存到本机。

回到pyCharm IDE:

注意,如果填写秘钥键值对成功后,Edit Credential应该是要打钩的,如果没有,请查看网络连接是否存在问题,例如不允许连接外网,或是对访问外网有限制。

注意,需要你重新点击edit credential按钮,退出后就能看到打钩了。


这样我们就完成了pyCharm IDE与ModelArts的对接工作,进入下一步,实际训练一个模型。


首先,下载手写字的数据集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip

登录华为云上传OBS:

创建两个文件夹,一个用于存放数据集,一个用于存放训练生成的日志(需要传回到pyCharm IDE并显示):

接着在pyCharm打开工程,点击“Run Training Job”:

填写参数,可以参考ModelArts训练模型时填写的参数:

训练完成后,训练模型保存在OBS中 /工程名/output/V0006/

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。