华为云ModelArts的高效识别--ModelArts智能数据标注提升70%效率

举报
华为云classroom 发表于 2023/12/13 15:18:34 2023/12/13
【摘要】 云服务、API、SDK,调试,查看,我都行 阅读短文您可以学习到:人工智能AI之ModelArts的训练、识别、分析、分类1      Classroom和Toolkit的关系1.1      Classroom的简介classroom是基于华为云的云上软件教学服务,支持初级开发者和高校师生实现备课、上课、作业、考试、实验、实训等全教学流程的线上教学,提供多类习题自动判题、企业级DevOps...

云服务、APISDK,调试,查看,我都行

阅读短文您可以学习到:人工智能AIModelArts的训练、识别、分析、分类

1      Classroom和Toolkit的关系

1.1      Classroom的简介

classroom是基于华为云的云上软件教学服务,支持初级开发者和高校师生实现备课、上课、作业、考试、实验、实训等全教学流程的线上教学,提供多类习题自动判题、企业级DevOps实训、免费在线习题库等众多高级特性辅助进行数字化教学转型。

1.2      Toolkit插件之华为云API实战课程


2      IntelliJ IDEA 之API插件介绍

API插件支持 VS Code IDEIntelliJ IDEA等平台、以及华为云自研 CodeArts IDE,基于华为云服务提供的能力,帮助开发者更高效、便捷的搭建应用。API插件关联华为云服务下的 API ExplorerDevStarCodeLabsSDK 中心和 CLI 中心产品,致力于为开发者提供更稳定、快速、安全的编程体验。

在本插件中,我们提供了但不局限于如下的功能:

对接华为云API开放平台,支持用户检索API、查看API文档、调试API、以及提供SDK示例代码供用户学习如何使用API

提供华为云SDK代码片段补全功能,SDK依赖包自动引入,加速用户集成华为云API

对接华为云开发体验馆Codelabs,提供500+云服务代码示例,向导式教程帮助用户快速学习。

说明:

IntelliJ IDEA等系列平台和VS Code IDE,华为云API插件的名称是Huawei Cloud API。而在CodeArts IDEAPI插件是IDE原生内置的,名称是华为云API开发套件。

API插件在IntelliJ IDEA等系列平台和VS Code IDE的使用依赖底座插件,请提前安装底座插件。

3      API插件安装--IntelliJ IDEA

3.1    IntelliJ IDEA等平台

安装准备:下载并安装JDK1.8或更高版本。下载并安装IntelliJ IDEA 2020.2或更高版本。

须知:IntellIj平台同时支撑包括GolandPycharm等在内的IDE,若在其它相关IDE上开发,请下载配置好对应语言的编译器或者解释器。这里以IDEA为例介绍IntelliJ平台插件的安装流程,其他IntelliJ系列的IDE请参考IDEA

开始安装:

您可以在直接在IDE插件市场或者直接在JetBrains插件市场下载离线包安装。

IDE安装

  1. IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins
  2. Plugins区域单击Marketplace,在搜索栏中输入Huawei Cloud API
  3. Search Results区域会出现Huawei Cloud API,单击Install,完成后重启IDE


离线包安装:

  1. 进入插件市场搜索Huawei Cloud API,进入插件详情页,在Versions页签下选择想要版本的API插件,点击Download下载离线的插件压缩包保存到本地。。
  2. IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins
  3. Plugins区域单击 ,再单击Install Plugin from Disk...
  4. Choose Plugin File对话框中选择离线安装包(不用解压),并按照IntelliJ IDEA安装页面的提示,完成后续安装步骤。


说明:若当前您想要安装插件的IntelliJ IDE已经在桌面打开,则进入插件市场搜索Huawei Cloud API,进入插件详情页,在右上角会识别到本地已经打开的IDE,点击相应按钮,在弹出的IDE窗口中点击ok,则IDE后台会开始安装相应版本的API插件。

安装验证:在IntelliJ系列平台上安装插件成功后在左侧的导航栏中可以看到Huawei Cloud Toolkit图标,点击后面板会出现Huawei Cloud API的字样,则说明安装成功。

3.2      API列表


左侧展示API列表,可以查询所有API,目前云服务206APIs9213


4      ModelArts智能数据标注提升70%效率

4.1      什么是ModelArts?

ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端--云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

"一站式"是指AI开发的各个环节,包括数据处理、算法开发、模型训练、部署都可以在ModelArts上完成。ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。


4.2      产品优势

一站式

即使您是一个毫无AI经验的开发者,也可以开""即用。ModelArts平台涵盖AI开发全流程,可灵活使用其中一个到多个功能用于开发工作。

易上手

提供多种预置模型,开源模型想用就用。

模型超参自动优化,简单快速。

零代码开发,简单操作训练出自己的模型。

支持模型一键部署到云、边、端。

高性能

自研MoXing深度学习框架,提升算法开发效率和训练速度。

优化深度模型推理中GPU的利用率,加速云端在线推理。

可生成在Ascend芯片上运行的模型,实现高效端边推理。

4.3      ModelArts手工标注数据

案例内容

AI开发数据标注的时间往往占了一半,本codelab基于ModelArts智能数据标注功能,让开发者体验高效完成海量数据智能标注,越标越准,大幅减少标注人力。

在本案例中,您将使用ModelArts的数据标注工具,标注图片中的行人、脸部和口罩,并体验使用智能数据标注自动批量标注数据。

案例目标

掌握使用ModelArts手工标注数据的方法。

掌握使用ModelArts智能数据标注,提升标注效率的方法。

您需要准备什么?

一台电脑(WindowsMacLinux操作系统)

谷歌浏览器

  1. 准备工作

体验智能数据标注,需要完成以下准备工作

创建华为云账号并实名认证

参考此链接,注册华为云账号。https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0069252244.html

参考此链接,完成实名认证,推荐使用扫码认证。https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0133456714.html

**注意:**请及时检查账号状态,避免账号处于欠费或冻结状态时资源被冻结,影响您的使用。

获取访问密钥并完成ModelArts全局配置

参考此文档 获取访问密钥并完成ModelArts全局配置。https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html

注意:访问密钥文件请妥善保存,使用OBS Browser会用到。

委托授权

为了授权ModelArts访问OBS,需要进入ModelArts数据集,点击“服务授权”按钮,进行授权。https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dataset


创建OBS

OBS,即Object Storage Service,对象存储服务,是华为云上提供云上储存的服务。在使用ModelArts之前您需要创建一个OBS桶,并在其中创建一个用于存放数据的文件夹。

登录OBS管理控制台, 页面右上角单击"创建桶",系统弹出如下图所示的对话框,选择"区域""华北-北京四",输入自定义的桶名称,其他选项保持默认即可,最后点击页面下方"立即创建"按钮即可成功创建。https://storage.huaweicloud.com/obs/#/obs/manager/buckets


下载并登录OBS Browser+

OBS Browser+OBS客户端,方便用户上传和下载文件。

https://support.huaweicloud.com/browsertg-obs/obs_03_1003.html

点击此链接,根据操作系统版本下载相应版本的OBS Browser+,并点击.exe文件进行安装。

https://support.huaweicloud.com/browsertg-obs/obs_03_1004.html

参考此文档,使用AK SK登录OBS Browser+

https://support.huaweicloud.com/clientogw-obs/zh-cn_topic_0045829115.html

如果是Mac操作系统,可以参考此文档下载和安装OBS Browser

注意:AK SK从访问秘钥文件中获取。

  1. 智能标注数据

本步骤对数据集进行智能标注。

https://modelarts-labs.obs.cn-north-1.myhuaweicloud.com/codelab/mask_detection/mask_detection_auto_labeling.tar.gz

准备数据

本案例使用口罩识别数据集,点击此链接,下载数据压缩包到本地,然后解压,可以得到mask_detection_auto_labeling文件夹。

通过OBS Browser+上传mask_detection_auto_labeling文件夹到刚刚创建的OBS桶下。

点击OBS Browser+界面上的“上传”按钮,即可上传文件夹或者文件;点击“新建文件夹”按钮,即可创建文件夹。


注意:该口罩识别数据集只能用于学习用途,不得用于商业用途。

创建数据集

点击此链接,进入ModelArts数据集。

点击页面上的“创建数据集”按钮, 创建数据集页面填写示例如下:


数据集名称:自定义

描述:自定义

数据集输入位置:mask_detection_auto_labeling文件夹所在的OBS路径

数据集输出位置:标注数据的输出OBS路径。需要在OBS中创建这个路径,可以在OBS Browser+中创建。

标注场景:物体

标注类型:物体检测

填写完毕上述字段后,点击创建。

手工标注一部分数据

进入数据集标注页面

点击数据集名称,进入刚刚创建的数据集的总览页面。

同步数据集

点击“开始标注”按钮,进入数据集标注页面。

点击“全部”页面的“同步数据源”按钮,数据同步完成后,右上角会出现“数据同步完成”的提示。“同步数据源”按钮的位置如下图所示:


手工标注图片

点击进入“未标注”页面,该页面展示了所有未标注的图片。点击其中任意一张图片,进入单张图片的标注页面。进入图片的标注页面后,就可以正式对图片标注了。

物体检测任务中,标注一个物体的方式是,首先围绕这个物体的外围画一个矩形框,然后打一个类别标签,最后点击“添加”按钮。在ModelArts标注系统中,画矩形框的方式是先单击选择矩形的左上角,然后再单击选择矩形的右下角。

一张图片标注完成,如下图所示:


根据上述方法,手工标注几张图片,体验一下物体检测任务的标注工作。

大家可以感觉到物体检测任务的标注工作量很大并且枯燥无味,这个时候就可以使用智能标注,智能标注的原理使用半监督算法来标注数据,从而提升标注效率,减少人力投入。

智能标注剩余的数据

启动智能标注作业

点击“返回数据标注预览”按钮,返回到数据集标注页面。“返回数据标注预览”按钮的位置如下图所示:


点击进入“待确认”页签,然后点击“启动智能标注”按钮,选择“主动学习”,最后点击“提交”按钮,启动智能标注作业。“提交”按钮的位置如下图所示:


该智能标注作业大概会运行15分钟左右。

智能标注的基本原理是,基于用户已经标注数据,并辅以未标注的数据,训练一个模型,然后对剩余的数据做推理。

修正并确认智能标注结果

智能标注作业完成后,在“待确认”页面会展示智能标注的结果。

点击其中一张图片,进入确认页面。


人工确认并修正智能标注的结果。如果标注框的位置有偏离,或者物体的类别标签不对,可以人工修正智能标注结果。在“文件标签”列表中,选中这个标注框,点击“修改”按钮,然后就可以对标注框进行修正。或者点击“修改”按钮,修改类别标签。如果检测框错误,可以将它删除。

修正完标注信息后,就点击“确认标注”按钮,系统会将这张图片及其标注信息加入到已标注数据中。“确认标注”按钮如下所示:

本案例由于时间和已标注数据数量有限,智能标注的结果可能不是很准确。在实际应用场景中,我们可以添加更多的数据,并标注更多的起始数据,这样准确率就会提升。

迭代进行智能标注

在实际应用场景中,智能标注是一个迭代的过程,每一轮只确认部分数据,然后继续启动下一轮智能标注,这样会使得智能标注的结果越来越准。

在本案例中,您可以只确认几张图片,然后就结束标注,只标注部分数据的数据集也可以用于训练模型。

回帖领代金券(可选)

如果想要领取第二张代金券,可以将上一步骤中“待确认”页面中的智能数据标注结果截图保存(截图需要带上右上角的华为云账号),然后在相应的论坛帖子下回帖。累计完成三个案例就可以领取第二张代金券。点击此链接,进入论坛帖子,参与Codelabs 活动。

发布数据集

标注好的数据集可以点击“发布”按钮发布成一个版本,这个数据集可以在ModelArts上训练模型的时候使用。点击进入数据集页面,“发布”按钮位置如下:


5      恭喜你

祝贺您,您已经使用ModelArts完成了智能数据标注任务!

您学会了如何在ModelArts标注平台上对图片进行物体检测任务的标注,同时掌握了使用ModelArts智能数据标注批量自动标注数据。

接下来您可以

使用ModelArts数据特征分析,查看发布的数据集的数据特征,为你提供深度数据优化建议。

使用ModelArts预置算法,预置算法可以直接使用标注好的数据集进行模型训练。


参考文献

https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0001.html

https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0012.html

https://support.huaweicloud.com/qs-obs/obs_qs_0002.html

 

6      体验插件课程

https://classroom.devcloud.huaweicloud.com/MOOCCourseStudy/join/ef4ebc3dbaa246ff995f75022cac8cb9

识别下方二维码立即体验

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。