【华为云-上云之路】手把手教你利用ModelArts实现数据集的图像标注

华为云—华为公司倾力打造的云战略品牌，2011年成立，致力于为全球客户提供领先的公有云服务，包含弹性云服务器、云数据库、云安全等云计算服务，软件开发服务，面向企业的大数据和人工智能服务，以及场景化的解决方案。

华为云用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户，致力于提供稳定可靠、安全可信、可持续创新的云服务，做智能世界的“黑土地”，推进实现“用得起、用得好、用得放心”的普惠AI。华为云作为底座，为华为全栈全场景AI战略提供强大的算力平台和更易用的开发平台。

ModelArts是华为云产品中面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。

基于ModelArts实现数据集的图像标注

目标检测中，我们需要对原始图片数据集做标注，告诉机器我们需要的目标，然后让机器去学习，这个过程是非常重要的。我之前做目标检测实验时都是直接下载公开的数据集，比赛的数据集，因为简单方便。如今自己需要另外训练自己的数据集，标注肯定少不了。

本实验将提供一个基于ModelArts实现数据集的图像标注的案例，帮助用户快速熟悉ModelArts图像标注的使用过程。使得用户可以通过手工标注或智能一键标注的方式添加标签，快速完成对图片的标注操作，也可以对已标注图片修改或删除标签进行重新标注。

基于ModelArts实现数据集的图像标注

1.准备环境和创建OBS桶

2.准备数据

3.创建数据集

4.数据标注

5.将标注数据集导入OBS桶

6.OBS桶的文件下载到本地电脑

1.1密钥准备

首先需要进入华为云官方网站

https://www.huaweicloud.com/

点击页面的“控制台”切换至控制台界面，在账号名称的下拉菜单中点击“我的凭证”，进入创建管理访问密钥（AK/SK）的界面。位置如下图所示：

什么是访问密钥？

访问密钥即AK/SK（Access Key ID/Secret Access Key），是您通过开发工具（API、CLI、SDK）访问华为云时的身份凭证，不能登录控制台。系统通过AK识别访问用户的身份，通过SK进行签名验证，通过加密签名验证可以确保请求的机密性、完整性和请求者身份的正确性。

选择“访问密钥”，点击“新增访问密钥”

1.2创建OBS桶和目录

进入方式，“控制台”->“服务列表”->“存储”->“对象存储服务”，页面右上角点击“创建桶”按钮进入创建页面。

什么是OBS？
对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。

1.3 OBS桶设置

OBS桶设置参数如下：区域：华北-北京四

桶名称：自定义（注意：此名称会在后续步骤使用）

我将此处的桶名称取为yun-image

存储类别：标准存储

桶策略：私有

归档数据直读：开启

多AZ：开启 

点击"立即创建"，完成创建

1.4创建文件夹

点击刚创建的桶名称，进入详情页

左侧栏选择“对象”，点击“新建文件夹”，在弹出的新建窗口中：

文件夹名称：自定义（此名称会在后续步骤中使用）我将此处的文件夹名称取为data-yun 点击“确定”完成添加

1.5服务授权

由于创建自动学习项目需要使用数据管理功能，在开始使用前，需为数据管理模块获取访问OBS权限。

在ModelArts管理控制台，进入“数据管理->数据集”页面，单击“服务授权”

由具备授权的账号“同意授权”后，即可正常使用：

2.1准备数据

ModelArts在公共OBS桶中提供了云宝的示例数据集，命名为“Yunbao-Data-Custom”，

因此，本文的操作示例使用此数据集进行图像标注。如果您有其它的数据集也可以使用。

关于数据集的下载您可以在华为云搜索栏，搜索Yunbao-Data-Custom

即可获取下载资源：

或本微信公众号后台回复“云宝”即可获取数据集：

2.2数据解压

在本地，将“Yunbao-Data-Custom.zip”压缩包解压。例如，解压至本地“Yunbao-Data-Custom”文件夹下。

2.3数据上传

按照步骤1操作进入对象存储服务：

点击创建的好的桶yun-image，进入“对象”页面：

再次点击文件夹data-yun，在文件夹中选择“上传对象”

将步骤2.1下载的本地数据集中的文件夹拖拽至上传对象框中，点击上传即可：

点击上传即可完成本地到云端的数据上传：

3.1创建数据集

进入ModelArts管理控制台主页，单击左侧导航栏“数据管理”，再点击“数据集”

添加步骤1保存的访问密钥文件中的密钥：

在“数据集”栏中单击“创建数据集”

在“创建数据集”页面中，填写“数据集名称”

dataset-yun

选择“数据集输入位置”云宝数据集OBS路径为“/yun-image/data-yun/train/”
“数据集输出位置”选择一个空目录如“/yun-image/data-yun/output/”
标注场景选择物体检测，添加标签集为“yunbao”

4.1数据标注

点击刚刚创建好的数据集dataset-yun，点击进去

选择右上的“开始标注”

此页面可以可视化的看见数据集中图片数量，标注和未标注的图片数量，以及标签统计。

此外在此处右上方还可选择创建团队标注任务，可以多人实时进行线上标注，大大提高了标注工作效率。

数据标注，针对物体检测项目，即在已有数据集图像中，标注出物体位置，并为其打上标签。标注好的图像数据将用于模型训练。

云宝数据集中，已标注部分数据，还有部分数据未标注，用户可以选择未标注数据进行手动标注。

数据集创建时，会自动执行数据源同步操作。由于数据源同步需要一定时间，如果出现同步失败，可单击“同步数据源”手动执行。

单击“未标注”页面，此页面展示所有未标注的图片数据。单击任意一张图片，进入图片标注界面。

用鼠标框选图片中的云宝所在区域，然后在弹出的对话框中输入标签名称，例如此示例中的“yunbao”，按“Enter”键完成此图片的添加。

标注完成后，左侧图片目录中此图片的状态将显示为“已标注”

用户可以在下方图片目录中，选择其他图片，重复上述操作继续进行图片标注：

很快几十张图片就标注完成了：

5.1将标注好的数据集导入OBS桶

将标注好的dataset-yun数据集导入OBS桶中,选择此数据集右侧的“更多”选项。

选择“导入”选项

选择导入的OBS桶路径，

此处选择/yun-image/data-yun/train/

即可将标注好的数据集导入OBS桶的文件夹中

6.1将OBS桶的文件下载到本地电脑

由于对象存储服务的管理控制台不能直接将OBS桶中文件直接下载到本地，需要借助以下工具进行下载：

本次下载我们借助的工具是OBS Browser

OBS Browser是一款对象存储服务客户端，可以非常方便的让您在个人电脑上进行对象存储的操作。

该工具在华为云主页“资源工具->开发工具”处

在开发工具的业务工具处，根据自己电脑配置下载OBS Browser：

此为下载完成后的OBS Browser工具界面：

在华为云对象存储服务的管理控制台，选择需要下载的文件夹：

选择文件夹右侧的分享，创建提取码和链接信息：

将提取码和链接信息复制粘贴到OBS Browser工具

选择需要下载的数据集文件，即下载至本地电脑：

至此实验全部完成。

最后大家使用的云端资源记得全部删除如对象存储服务创建的桶，文件夹；ModelArts创建的数据集，部署的模型等都需要删除，并停用访问密钥，以免造成不必要的花费。

通过对实验结果的比对，可以看出利用

[华为云ModelArts]训练出来的目标物体识别模型是很棒的，六个字总结就是-高效，快捷，省心。

正因我们国家有许多像华为这样强大的民族企业在国家背后默默做支撑，做奉献。我们国家才能屹立于世界民族之林。

华为，中国骄傲！中华有为！