【华为云-上云之路】手把手教你利用ModelArts实现数据集的图像标注

举报
看那个码农 发表于 2020/05/14 11:43:32 2020/05/14
【摘要】 手把手教你利用ModelArts实现数据集的图像标注

华为云华为公司倾力打造的云战略品牌,2011年成立,致力于为全球客户提供领先的公有云服务,包含弹性云服务器、云数据库、云安全等云计算服务,软件开发服务,面向企业的大数据和人工智能服务,以及场景化的解决方案。

image.png


华为云用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户,致力于提供稳定可靠、安全可信、可持续创新的云服务,做智能世界的“黑土地”,推进实现“用得起、用得好、用得放心”的普惠AI。华为云作为底座,为华为全栈全场景AI战略提供强大的算力平台和更易用的开发平台。

image.png

ModelArts华为云产品中面向开发者的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。


image.png


基于ModelArts实现数据集的图像标注


目标检测中,我们需要对原始图片数据集做标注,告诉机器我们需要的目标,然后让机器去学习,这个过程是非常重要的。我之前做目标检测实验时都是直接下载公开的数据集,比赛的数据集,因为简单方便。今自己需要另外训练自己的数据集,标注肯定少不了。

本实验将提供一个基于ModelArts实现数据集的图像标注的案例,帮助用户快速熟悉ModelArts图像标注的使用过程。使得用户可以通过手工标注或智能一键标注的方式添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。


image.png


基于ModelArts实现数据集的图像标注


1.准备环境和创建OBS桶

2.准备数据

3.创建数据集

4.据标

5.将标注数据集导入OBS桶

6.OBS桶的文件下载到本地电脑


1.1密钥准备


首先需要进入华为云官方网站

https://www.huaweicloud.com/


image.png


点击页面的“控制台”切换至控制台界面,在账号名称的下拉菜单中点击“我的凭证”,进入创建管理访问密钥(AK/SK)的界面。位置如下图所示:


image.png


什么是访问密钥?

访问密钥即AK/SK(Access Key ID/Secret Access Key),是您通过开发工具(API、CLI、SDK)访问华为云时的身份凭证,不能登录控制台。系统通过AK识别访问用户的身份,通过SK进行签名验证,通过加密签名验证可以确保请求的机密性、完整性和请求者身份的正确性。


选择访问密钥”,点击“新增访问密钥


image.png


1.2创建OBS桶和目录


进入方式,“控制台”->“服务列表”->“存储”->“对象存储服务”,页面右上角点击“创建桶”按钮进入创建页面。


image.png


什么是OBS?
对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。


1.3 OBS桶设置


OBS桶设置参数如下:区域:华北-北京四

桶名称:自定义(注意:此名称会在后续步骤使用)

我将此处的桶名称取为yun-image

存储类别:标准存储

桶策略:私有

归档数据直读:开启

多AZ:开启 


点击"立即创建",完成创建


image.png


1.4创建文件夹


点击刚创建的桶名称,进入详情页


image.png


左侧栏选择“对象”,点击“新建文件夹”,在弹出的新建窗口中:

文件夹名称:自定义此名称会在后续步骤中使用)我将此处的文件夹名称取为data-yun 点击“确定”完成添加


image.png


1.5服务授权


由于创建自动学习项目需要使用数据管理功能,在开始使用前,需为数据管理模块获取访问OBS权限。

在ModelArts管理控制台,进入“数据管理->数据集”页面,单击“服务授权”


image.png


由具备授权的账号“同意授权”后,即可正常使用:


image.png


2.1准备数据


ModelArts在公共OBS桶中提供了云宝的示例数据集,命名为“Yunbao-Data-Custom”,

因此,本文的操作示例使用此数据集进行图像标注。如果您有其它的数据集也可以使用。

关于数据集的下载您可以在华为云搜索栏,搜索Yunbao-Data-Custom

即可获取下载资源:


image.png


或本微信公众号后台回复“云宝”即可获取数据集:


image.png


2.2数据解压


在本地,将“Yunbao-Data-Custom.zip”压缩包解压。例如,解压至本地“Yunbao-Data-Custom”文件夹下。


image.png


2.3数据上传


按照步骤1操作进入对象存储服务:


image.png


点击创建的好的桶yun-image,进入对象”页面:


image.png


再次点击文件夹data-yun,在文件夹中选择“上传对象”


image.png


将步骤2.1下载的本地数据集中的文件夹拖拽至上传对象框中,点击上传即可:


image.png


image.png


点击上传即可完成本地到云端的数据上传:


image.png


3.1创建数据集

进入ModelArts管理控制台主页,单击左侧导航栏“数据管理”,再点击数据集


image.png


添加步骤1保存的访问密钥文件中的密钥:


image.png


在“数据集”栏中单击“创建数据集”


image.png



在“创建数据集”页面中,填写“数据集名称”

dataset-yun


选择“数据集输入位置”云宝数据集OBS路径为“/yun-image/data-yun/train/”
“数据集输出位置”选择一个空目录如“/yun-image/data-yun/output/”
标注场景选择物体检测,添加标签集为“yunbao”


image.png


4.1数据标注


点击刚刚创建好的数据集dataset-yun,点击进去


image.png

选择右上的“开始标注”


此页面可以可视化的看见数据集中图片数量,标注和未标注的图片数量,以及标签统计。

此外在此处右上方还可选择创建团队标注任务,可以多人实时进行线上标注,大大提高了标注工作效率。


image.png



数据标注,针对物体检测项目,即在已有数据集图像中,标注出物体位置,并为其打上标签。标注好的图像数据将用于模型训练。

云宝数据集中,已标注部分数据,还有部分数据未标注,用户可以选择未标注数据进行手动标注。



image.png


数据集创建时,会自动执行数据源同步操作。由于数据源同步需要一定时间,如果出现同步失败,可单击“同步数据源”手动执行。


image.png


单击“未标注”页面,此页面展示所有未标注的图片数据。单击任意一张图片,进入图片标注界面。


image.png



用鼠标框选图片中的云宝所在区域,然后在弹出的对话框中输入标签名称,例如此示例中的“yunbao”,按“Enter”键完成此图片的添加。


image.png


标注完成后,左侧图片目录中此图片的状态将显示为“已标注”

image.png

用户可以在下方图片目录中,选择其他图片,重复上述操作继续进行图片标注:


image.png


很快几十张图片就标注完成了:


image.png



5.1将标注好的数据集导入OBS桶

将标注好的dataset-yun数据集导入OBS桶中,选择此数据集右侧的“更多”选项。


image.png

选择“导入”选项

image.png


选择导入的OBS桶路径,

此处选择/yun-image/data-yun/train/


image.png


即可将标注好的数据集导入OBS桶的文件夹中


image.png



6.1将OBS桶的文件下载到本地电脑


由于对象存储服务的管理控制台不能直接将OBS桶中文件直接下载到本地,需要借助以下工具进行下载:


image.png



本次下载我们借助的工具是OBS Browser

OBS Browser是一款对象存储服务客户端,可以非常方便的让您在个人电脑上进行对象存储的操作。

该工具在华为云主页“资源工具->开发工具”处



image.png



在开发工具的业务工具处,根据自己电脑配置下载OBS Browser:


image.png


此为下载完成后的OBS Browser工具界面:


image.png



在华为云对象存储服务的管理控制台,选择需要下载的文件夹:


image.png



选择文件夹右侧的分享,创建提取码和链接信息:


image.png


将提取码和链接信息复制粘贴到OBS Browser工具


image.png


选择需要下载的数据集文件,即下载至本地电脑:


image.png


至此实验全部完成。


最后大家使用的云端资源记得全部删除如对象存储服务创建的桶,文件夹;ModelArts创建的数据集,部署的模型等都需要删除,并停用访问密钥,以免造成不必要的花费。


通过对实验结果的比对,可以看出利用

[华为云ModelArts]训练出来的目标物体识别模型是很棒的,六个字总结就是-高效,快捷,省心


正因我们国家有许多像华为这样强大的民族企业在国家背后默默做支撑,做奉献。我们国家才能屹立于世界民族之林。

华为,中国骄傲!中华有为!


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。