华为云ModelArts和AI Gallery体验之旅 |【AI贺新年】
引言
什么是华为云ModelArts? |
华为云ModelArts可以用来干什么? |
华为云ModelArts物体检测教程
这一部分主要是以自动学习中的物体检测项目为例,介绍华为云ModelArts自动学习的使用步骤。物体检测是计算机视觉中的经典项目,其任务主要是标出图像中的物体位置,给出物体的类别。华为云ModelArts官方给出的测试项目是找云宝,后来我也用找猫和狗的项目简单测试了一下。
注册账号
首先你需要注册一个华为云账号,登录华为云ModelArts控制台。
官网链接放在这👉:控制台
地区建议选择北京四,相对来说较为稳定。
创建OBS对象存储桶并上传资源
OBS是华为云的对象存储服务,因为我们要将我们的资源包上传到OBS进行后续的操作。
首先需要购买OBS,购买链接放在这👉:OBS
不同的配置价格也是不一样的,根据个人需求购买就可以了。这里有需要注意的点是OBS购买的地区要与你的ModelArts地区相同,我选择的都是华北-北京四。
1.购买完成之后这才会出现桶列表。
2.点击桶列表创建一个OBS桶,我这里是一个创建一个名称为yunbao-278b
和cat-dog159
桶。
3.我们需要将我们的数据包上传到我们刚才创建的桶,我们借用OBS Browser+进行上传。
OBS Browser+下载地址放在这:OBS Browser+
下载完成之后进行安装,安装可以修改安装路径,不需要放在C盘,安装完成之后开始运行。需要在我的凭证这申请秘钥,秘钥只能下载一次。然后通过用户名、Access Key Id
和密码登录。
4.成功登陆之后,就可以看到我们刚才建的桶了。
5.将本地的数据包上传到桶,直接拖动就可以。此时我们的资源就算上传完成了。
自动学习
找云宝
华为云ModelArts官方给出的自动学习案例是找云宝(使用自动学习实现物体检测应用)。先把云宝数据集下载下来,我直接把链接贴在这了云宝数据集。
1.第一步创建一个桶,配置选择按照图片中就可以了,桶的名称随便选,如果与他人的名字重复系统会提醒你的。
2.第二步是将刚才下载好的云宝数据集上传到桶中,前面介绍了OBS Browser+,登录进去之后你就能看到你创建的桶。点击你需要上传文件的桶的名称,点击上传,在选择上传的文件夹就可以了。
3.下一步就是自动学习创建项目
数字1的位置就是你刚才上传的数据集,选择这个train
就可以了。
数字2的位置就是数据集输出的位置,你在桶里面新建一个文件夹就可以,比如我的就是yunbao-out
,完成这些之后你就可以看到自己创建的项目。
4.下一步就是进入你的项目中,接下来还有三步操作就是数据标注、模型训练和部署上线。
5.先看第一项数据标注。按照步骤选择当前页中的图片,然后开始训练。
这些选项不需要修改,你第一次测试数据集版本名称应该是V001,因为我之前测试过了,所以我的是V002.
点击提交就可以了,训练是需要一会时间的,我们耐心等待就可以。
这是我的两次模型训练的结果,准确率都是91%,训练时间大概就是4-5分钟。
6.最后一步就是部署上线。
部署成功之后,我们就可以上传几张图片测试一下。到这里我们的自动学习就圆满完成了。
找猫和狗
上面那个找云宝的项目与下面这个找猫和狗的项目有所区别,找猫和狗的项目多了一个步骤就是数据标注,上面找云宝的例子的数据集是官方已经标注好的,可以直接进行训练。
前期的步骤与找云宝的步骤是一样的,这里就不过多介绍了,按照上面的项目操作就可以。(创建桶——>上传数据集——>创建项目)现在我们的重点是进行数据标注。
1.这里是一些可爱的猫和狗的照片,看我箭头标注的位置,显示照片是未标注的,一共有40张。
上面云宝的是标注过的,只要是标注过的这些图片下面就会出现你标注的标签。比如“yunbao”,只有将这些照片全部标注我们才能进行训练。
2.标注的方式就是选择一张照片,用矩形框先固定一个点,然后再固定另外一个点,将狗选中打上dog的标签,然后点击右上角的下一张。标记猫的照片就打上cat的标签就可以。
3.每个标签你手动标记个十张左右就可以了,就是猫的标记十张左右,狗的标记十张左右,不能少于5张。因为我们下边要用到智能标注。
4.照片太多的话,我们手动标注太过繁琐,我们就可以用智能标注。
在数据管理,数据集,进入你要标注的数据集。
5.到未标注的地方,选中所有未标注的图片,然后启动智能标注。
智能标注需要一段时间,我们耐心等待即可。
如果你之前手动标注的太少,或者是标注有难度的照片,会出现待确认的情况,这里就需要我们点进图片确认一遍是否正确。
比如这种有错误的,我们手动修改掉就可以了。
6.照片全部标注完成之后,我们就可以开始训练了,也需要一会时间,耐心等待。
7.模型训练完成之后,就可以开始部署上线。
8.部署成功之后,就可以找几张图片测试一下。
到这里我们的两个自动学习物体检测的项目就完成了。
算法管理
1.创建算法,可以将你自己写好的算法上传上去。
2.订阅算法,点击订阅更多算法进入到AI Gallery社区,官方的交流社区,里面有很多好的模型和算法,是一个学习的好地方。
3.随便点进一个都有详细的介绍,很好的学习技术社区。你也可以将自己好的模型上传上去,供大家学习。
训练管理
我们讲一下如何创建训练作业,选择你自己写的算法或者是订阅的算法。
选择你相对应的训练输入、训练输出等等内容就可以在训练作业的地方看到你的训练结果。
AI Gallery社区
AI Gallery是在ModelArts基础上建立的开发者社区,提供了数据集、算法、模型等等AI数字资产,开发者可以直接借用这些资源进行AI应用开发测试。AI应用的整个流程是从数据采集——>标注——>算法模型构建,每一步必备的AI资产,在AI Gallery社区都可以找到。
AI Gallery经典案例
在传统的视觉领域中物体检测是非常热门的一个研究方向。YOLO就是视觉领域的经典算法,官方对于这些经典算法做了大量的适配,基于内部的一些项目,作出了实践案例。
比如YOLOv5(物体检测/Pytorch训练)适用的案例人车检测、行人检测、口罩检测、钢筋检测等等。
下面还详细介绍了算法信息、训练输出文件等。
除了这些AI数字资产之外还有很多学习资源,包括教学课程、实践活动等等,是开发者的宝藏之地。
特色课程 |
论文精读 |
实践活动 |
还有很多实践活动,多参加一些提升自己,完善自我。
结语
个人完整体验了一遍华为云ModelArts,感觉还挺好的,适合开发者使用。华为云ModelArts其他AI开发平台,ModelArts是更快的普惠AI开发平台,涉及数据标注与准备、模型训练、模型调优、模型部署等AI开发全流程,为AI应用开发提供一站式服务。ModelArts 是可以让开发者上手更快、训练更快、部署更快的全流程平台。华为云ModelArts在数据标准与准备效率有了百倍的提升,模型训练耗时大大缩减,用AI的机制加速AI开发过程,降低了开发门槛。我相信未来华为云ModelArts会有更大的提升和进步。
【华为云AI贺新年】有奖征文火热进行中:https://bbs.huaweicloud.com/blogs/325842
- 点赞
- 收藏
- 关注作者
评论(0)