华为云ModelArts和AI Gallery体验之旅 |【AI贺新年】

举报
静Yu 发表于 2022/02/14 22:14:43 2022/02/14
【摘要】 记录一次华为云ModelArts和AI Gallery体验之旅,自动学习找云宝和找猫狗。

引言

什么是华为云ModelArts?
华为云ModelArts是面向开发者的一站式AI平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。如果你平时用电脑跑模型的话可能会因为你的电脑配置受限而无法完成,ModelArts很好的解决了这个问题,它让训练模型时不受限于本地电脑的配置,可以将数据传输到服务器选择对应的配置跑程序。
华为云ModelArts可以用来干什么?
ModelArts整合了数据标注、开发环境、模型训练以及部署,对大部分地方做了可视化处理,能够更轻松地操作以及改进。ModelArts特色功能主要是数据处理、开发环境、 算法管理、云边端多场景部署、训练(包括机器学习、深度学习、自动学习)等等。

在这里插入图片描述

华为云ModelArts物体检测教程

这一部分主要是以自动学习中的物体检测项目为例,介绍华为云ModelArts自动学习的使用步骤。物体检测是计算机视觉中的经典项目,其任务主要是标出图像中的物体位置,给出物体的类别。华为云ModelArts官方给出的测试项目是找云宝,后来我也用找猫和狗的项目简单测试了一下。

注册账号

首先你需要注册一个华为云账号,登录华为云ModelArts控制台。
官网链接放在这👉:控制台
在这里插入图片描述

地区建议选择北京四,相对来说较为稳定。

在这里插入图片描述

创建OBS对象存储桶并上传资源

OBS是华为云的对象存储服务,因为我们要将我们的资源包上传到OBS进行后续的操作。
首先需要购买OBS,购买链接放在这👉:OBS
不同的配置价格也是不一样的,根据个人需求购买就可以了。这里有需要注意的点是OBS购买的地区要与你的ModelArts地区相同,我选择的都是华北-北京四。
在这里插入图片描述
1.购买完成之后这才会出现桶列表。
在这里插入图片描述
2.点击桶列表创建一个OBS桶,我这里是一个创建一个名称为yunbao-278bcat-dog159桶。

在这里插入图片描述
3.我们需要将我们的数据包上传到我们刚才创建的桶,我们借用OBS Browser+进行上传。
OBS Browser+下载地址放在这:OBS Browser+
下载完成之后进行安装,安装可以修改安装路径,不需要放在C盘,安装完成之后开始运行。需要在我的凭证这申请秘钥,秘钥只能下载一次。然后通过用户名、Access Key Id和密码登录。
在这里插入图片描述
4.成功登陆之后,就可以看到我们刚才建的桶了。
在这里插入图片描述

5.将本地的数据包上传到桶,直接拖动就可以。此时我们的资源就算上传完成了。
在这里插入图片描述

自动学习

找云宝

华为云ModelArts官方给出的自动学习案例是找云宝(使用自动学习实现物体检测应用)。先把云宝数据集下载下来,我直接把链接贴在这了云宝数据集
在这里插入图片描述
1.第一步创建一个桶,配置选择按照图片中就可以了,桶的名称随便选,如果与他人的名字重复系统会提醒你的。
在这里插入图片描述
2.第二步是将刚才下载好的云宝数据集上传到桶中,前面介绍了OBS Browser+,登录进去之后你就能看到你创建的桶。点击你需要上传文件的桶的名称,点击上传,在选择上传的文件夹就可以了。
在这里插入图片描述
在这里插入图片描述
3.下一步就是自动学习创建项目
在这里插入图片描述
数字1的位置就是你刚才上传的数据集,选择这个train就可以了。
在这里插入图片描述
数字2的位置就是数据集输出的位置,你在桶里面新建一个文件夹就可以,比如我的就是yunbao-out,完成这些之后你就可以看到自己创建的项目。
在这里插入图片描述

4.下一步就是进入你的项目中,接下来还有三步操作就是数据标注、模型训练和部署上线。
在这里插入图片描述
5.先看第一项数据标注。按照步骤选择当前页中的图片,然后开始训练。
在这里插入图片描述
这些选项不需要修改,你第一次测试数据集版本名称应该是V001,因为我之前测试过了,所以我的是V002.
在这里插入图片描述
点击提交就可以了,训练是需要一会时间的,我们耐心等待就可以。
在这里插入图片描述
这是我的两次模型训练的结果,准确率都是91%,训练时间大概就是4-5分钟。
在这里插入图片描述
6.最后一步就是部署上线。
在这里插入图片描述
部署成功之后,我们就可以上传几张图片测试一下。到这里我们的自动学习就圆满完成了。
在这里插入图片描述
在这里插入图片描述

找猫和狗

上面那个找云宝的项目与下面这个找猫和狗的项目有所区别,找猫和狗的项目多了一个步骤就是数据标注,上面找云宝的例子的数据集是官方已经标注好的,可以直接进行训练。

前期的步骤与找云宝的步骤是一样的,这里就不过多介绍了,按照上面的项目操作就可以。(创建桶——>上传数据集——>创建项目)现在我们的重点是进行数据标注。
1.这里是一些可爱的猫和狗的照片,看我箭头标注的位置,显示照片是未标注的,一共有40张。
在这里插入图片描述
上面云宝的是标注过的,只要是标注过的这些图片下面就会出现你标注的标签。比如“yunbao”,只有将这些照片全部标注我们才能进行训练。
在这里插入图片描述
2.标注的方式就是选择一张照片,用矩形框先固定一个点,然后再固定另外一个点,将狗选中打上dog的标签,然后点击右上角的下一张。标记猫的照片就打上cat的标签就可以。
在这里插入图片描述
3.每个标签你手动标记个十张左右就可以了,就是猫的标记十张左右,狗的标记十张左右,不能少于5张。因为我们下边要用到智能标注。
在这里插入图片描述

4.照片太多的话,我们手动标注太过繁琐,我们就可以用智能标注。
在数据管理,数据集,进入你要标注的数据集。在这里插入图片描述
5.到未标注的地方,选中所有未标注的图片,然后启动智能标注。
在这里插入图片描述
智能标注需要一段时间,我们耐心等待即可。
在这里插入图片描述
如果你之前手动标注的太少,或者是标注有难度的照片,会出现待确认的情况,这里就需要我们点进图片确认一遍是否正确。
在这里插入图片描述
比如这种有错误的,我们手动修改掉就可以了。
在这里插入图片描述
6.照片全部标注完成之后,我们就可以开始训练了,也需要一会时间,耐心等待。
在这里插入图片描述
7.模型训练完成之后,就可以开始部署上线。
在这里插入图片描述
8.部署成功之后,就可以找几张图片测试一下。
在这里插入图片描述
在这里插入图片描述
到这里我们的两个自动学习物体检测的项目就完成了。

算法管理

1.创建算法,可以将你自己写好的算法上传上去。
在这里插入图片描述
2.订阅算法,点击订阅更多算法进入到AI Gallery社区,官方的交流社区,里面有很多好的模型和算法,是一个学习的好地方。
在这里插入图片描述
3.随便点进一个都有详细的介绍,很好的学习技术社区。你也可以将自己好的模型上传上去,供大家学习。
在这里插入图片描述

训练管理

我们讲一下如何创建训练作业,选择你自己写的算法或者是订阅的算法。
在这里插入图片描述
选择你相对应的训练输入、训练输出等等内容就可以在训练作业的地方看到你的训练结果。

AI Gallery社区

AI Gallery是在ModelArts基础上建立的开发者社区,提供了数据集、算法、模型等等AI数字资产,开发者可以直接借用这些资源进行AI应用开发测试。AI应用的整个流程是从数据采集——>标注——>算法模型构建,每一步必备的AI资产,在AI Gallery社区都可以找到。

AI Gallery经典案例

在传统的视觉领域中物体检测是非常热门的一个研究方向。YOLO就是视觉领域的经典算法,官方对于这些经典算法做了大量的适配,基于内部的一些项目,作出了实践案例。
在这里插入图片描述
比如YOLOv5(物体检测/Pytorch训练)适用的案例人车检测、行人检测、口罩检测、钢筋检测等等。
在这里插入图片描述

下面还详细介绍了算法信息、训练输出文件等。
在这里插入图片描述

除了这些AI数字资产之外还有很多学习资源,包括教学课程、实践活动等等,是开发者的宝藏之地。

特色课程
这里有很多热门的特色课程,是个很好的知识宝地,可以在这里提升自己。

在这里插入图片描述

论文精读
还有很多大佬写的论文和视频讲解。

在这里插入图片描述

实践活动

还有很多实践活动,多参加一些提升自己,完善自我。
在这里插入图片描述

结语

个人完整体验了一遍华为云ModelArts,感觉还挺好的,适合开发者使用。华为云ModelArts其他AI开发平台,ModelArts是更快的普惠AI开发平台,涉及数据标注与准备、模型训练、模型调优、模型部署等AI开发全流程,为AI应用开发提供一站式服务。ModelArts 是可以让开发者上手更快、训练更快、部署更快的全流程平台。华为云ModelArts在数据标准与准备效率有了百倍的提升,模型训练耗时大大缩减,用AI的机制加速AI开发过程,降低了开发门槛。我相信未来华为云ModelArts会有更大的提升和进步。

【华为云AI贺新年】有奖征文火热进行中:https://bbs.huaweicloud.com/blogs/325842

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200