华为云ModelArts-Lab-AI实战营前三期学习 总结
从6月14日华为云ModelArts-Lab AI实战营开启到现在已经一个多月了,相信参与实战营的每一位学员都有各自不同的巨大收获。我在参与实战营的这一个多月中,总算对于AI到底是什么?为什么要使用AI?如何使用AI?这灵魂三问的答案有了一个大概的认识。
在实战营第一期中,我们第一次接触ModelArts平台,学习使用自动学习的图像分类功能,使用开发环境创建jupyter notebook运行python程序实现猫狗数据集的模型训练。
在实战营第二期中,我们使用数据标注的智能标注功能完成数据集的标注工作,然后使用训练作业完成模型的训练,最后使用模型管理将训练好的模型部署上线。
在实战营第三期中,学习了数据增广与在模型训练过程中的各种模型参数的调整优化(炼丹)。
综合前三期所学内容,我了解到的一个机器学习的项目的大概流程:
1.数据搜集
2.数据清洗
3.数据增广
4.数据标注
5.神经网络类型选型
6.学习框架选择
7.学习框架超参调整
8.模型训练
9.模型商用
而ModelArts作为一个面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。对上述所有流程都有相应的功能做支撑: ModelArts现有功能中:
ModelArts菜单 | 支撑流程 |
---|---|
数据标注、数据管理 | 1.数据搜集 2.数据清洗 3.数据增广 4.数据标注 |
开发环境、训练作业、模型管理 | 5.神经网络类型选型 6.学习框架选择 7.学习框架超参调整 8.模型训练 |
部署上线、AI市场 | 9.模型商用 |
注:数据增广一般是用开发环境编写python程序完成,上表为了不改变流程顺序把数据增广流程写错了地方。
在项目中最重要的流程,模型训练,ModelArts支持几乎所有主流学习框架:TensorFlow、MXNet、Caffe、Spark、Scikit-learn & XGBoost、PyTorch。如果这些框架无法满足要求,还可以在开发环境中自行安装所需类库解决需求。
除了以上对项目流程的支持,ModelArts还为AI学习解决了一个最大的难题:硬件。开发环境和训练作业可配置的p100和v100显卡,个人搭建环境难以承受。即使是消费级显卡2080、2070、2060等也不是初学者愿意背负的学习成本。ModelArts将显卡资源按小时出租,极大的降低了AI学习的金钱成本,让更多有意愿进入AI行业但受限于客观条件的人有机会去尝试打开AI的大门。
总之,参加华为云ModelArts-Lab AI实战营,让我了解了机器学习项目的总体流程,理解数据预处理对模型训练的重要影响,了解了一些主流的神经网络类型、学习框架,能够根据模型训练中的准确率、召回率、损失情况(交叉熵、均方差等)变化情况对超参进行具有一定预见性的调整。但对每种神经网络、学习框架的理解还不深,只会粗略的使用(调包侠),自觉要钻研的路很难,要学习的路还很长。希望在之后的实战中能学习到所用框架的特点,针对场景等细节。真心的希望华为云平台和ModelArts-Lab AI实战营越办越好。
- 点赞
- 收藏
- 关注作者
评论(0)