华为云ModelArts-Lab-AI实战营前三期学习 总结

举报
云峦雾绕 发表于 2019/08/03 22:36:23 2019/08/03
【摘要】 从6月14日华为云ModelArts-Lab AI实战营开启到现在已经一个多月了,相信参与实战营的每一位学员都有各自不同的巨大收获。我在参与实战营的这一个多月中,总算对于AI到底是什么?为什么要使用AI?如何使用AI?这灵魂三问的答案有了一个大概的认识。 在实战营第一期中,我们第一次接触ModelArts平台,学习使用自动学习的图像分类功能,使用开发环境创建jupyter notebook运...

从6月14日华为云ModelArts-Lab AI实战营开启到现在已经一个多月了,相信参与实战营的每一位学员都有各自不同的巨大收获。我在参与实战营的这一个多月中,总算对于AI到底是什么?为什么要使用AI?如何使用AI?这灵魂三问的答案有了一个大概的认识。

在实战营第一期中,我们第一次接触ModelArts平台,学习使用自动学习的图像分类功能,使用开发环境创建jupyter notebook运行python程序实现猫狗数据集的模型训练。

在实战营第二期中,我们使用数据标注的智能标注功能完成数据集的标注工作,然后使用训练作业完成模型的训练,最后使用模型管理将训练好的模型部署上线。

在实战营第三期中,学习了数据增广与在模型训练过程中的各种模型参数的调整优化(炼丹)。

综合前三期所学内容,我了解到的一个机器学习的项目的大概流程:

1.数据搜集

2.数据清洗

3.数据增广

4.数据标注

5.神经网络类型选型

6.学习框架选择

7.学习框架超参调整

8.模型训练

9.模型商用


而ModelArts作为一个面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。对上述所有流程都有相应的功能做支撑: ModelArts现有功能中:

ModelArts菜单支撑流程
数据标注、数据管理1.数据搜集 2.数据清洗 3.数据增广 4.数据标注
开发环境、训练作业、模型管理5.神经网络类型选型 6.学习框架选择 7.学习框架超参调整 8.模型训练
部署上线、AI市场9.模型商用

注:数据增广一般是用开发环境编写python程序完成,上表为了不改变流程顺序把数据增广流程写错了地方。

在项目中最重要的流程,模型训练,ModelArts支持几乎所有主流学习框架:TensorFlow、MXNet、Caffe、Spark、Scikit-learn & XGBoost、PyTorch。如果这些框架无法满足要求,还可以在开发环境中自行安装所需类库解决需求。

除了以上对项目流程的支持,ModelArts还为AI学习解决了一个最大的难题:硬件。开发环境和训练作业可配置的p100和v100显卡,个人搭建环境难以承受。即使是消费级显卡2080、2070、2060等也不是初学者愿意背负的学习成本。ModelArts将显卡资源按小时出租,极大的降低了AI学习的金钱成本,让更多有意愿进入AI行业但受限于客观条件的人有机会去尝试打开AI的大门。

总之,参加华为云ModelArts-Lab AI实战营,让我了解了机器学习项目的总体流程,理解数据预处理对模型训练的重要影响,了解了一些主流的神经网络类型、学习框架,能够根据模型训练中的准确率、召回率、损失情况(交叉熵、均方差等)变化情况对超参进行具有一定预见性的调整。但对每种神经网络、学习框架的理解还不深,只会粗略的使用(调包侠),自觉要钻研的路很难,要学习的路还很长。希望在之后的实战中能学习到所用框架的特点,针对场景等细节。真心的希望华为云平台和ModelArts-Lab AI实战营越办越好。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。