【华为云-上云之路】手把手教你利用ModelArts实现垃圾自动分类
华为云—华为公司倾力打造的云战略品牌，2011年成立，致力于为全球客户提供领先的公有云服务，包含弹性云服务器、云数据库、云安全等云计算服务，软件开发服务，面向企业的大数据和人工智能服务，以及场景化的解决方案。
华为云用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户，致力于提供稳定可靠、安全可信、可持续创新的云服务，做智能世界的“黑土地”，推进实现“用得起、用得好、用得放心”的普惠AI。华为云作为底座，为华为全栈全场景AI战略提供强大的算力平台和更易用的开发平台。
ModelArts是华为云产品中面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。
基于ModelArts实现垃圾自动分类
基于ModelArts实现垃圾自动分类模型训练和部署。本实验将基于ModelArts自动学习功能，零编码训练得到一个垃圾分类模型。并且将训练得到的模型部署成在线服务，用户使用该在线服务对输入的图片进行预测以达到自动识别上传图片是哪种类型垃圾的目的。本实验将帮助用户快速熟悉ModelArts自动学习的使用过程。
基于ModelArts实现垃圾自动分类
1.准备环境和创建OBS桶
2.准备数据
3.创建图像分类项目
4.数据标注
5.自动训练，生成模型
6.将模型部署上线为在线服务
7.发起检测
1.1密钥准备
首先需要进入华为云官方网站
https://www.huaweicloud.com/
点击页面的“控制台”切换至控制台界面，在账号名称的下拉菜单中点击“我的凭证”，进入创建管理访问密钥（AK/SK）的界面。位置如下图所示：
什么是访问密钥？
访问密钥即AK/SK（Access Key ID/Secret Access Key），是您通过开发工具（API、CLI、SDK）访问华为云时的身份凭证，不能登录控制台。系统通过AK识别访问用户的身份，通过SK进行签名验证，通过加密签名验证可以确保请求的机密性、完整性和请求者身份的正确性。
选择“访问密钥”，点击“新增访问密钥”
妥善保存系统自动下载的“credentials.csv”文件中的AK（Access Key Id）和SK（Secret Access Key）以备后续步骤使用。
1.2创建OBS桶和目录
进入方式，“控制台”->“服务列表”->“存储”->“对象存储服务”，页面右上角点击“创建桶”按钮进入创建页面。
什么是OBS？
对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，包括：创建、修改、删除桶，上传、下载、删除对象等。
1.3 OBS桶设置
OBS桶设置参数如下：区域：华北-北京四桶
名称：自定义（注意：此名称会在后续步骤使用）
根据自己的命名习惯，我将此处的桶名称取为garbage-modelarts
存储类别：标准存储
桶策略：私有
归档数据直读：关闭
多AZ：开启
点击"立即创建"，完成创建
1.4创建文件夹
点击刚刚创建的桶，进入详情页
左侧栏选择“对象”，点击“新建文件夹”，在弹出的新建窗口中：
文件夹名称：自定义（此名称会在后续步骤中使用）根据自己的命名习惯,我将此处的文件夹名称取为garbage-data 点击“确定”完成添加
1.5服务授权
由于创建自动学习项目需要使用数据管理功能，在开始使用前，需为数据管理模块获取访问OBS权限。
在ModelArts管理控制台，进入“数据管理->数据集”页面，单击“服务授权”
由具备授权的账号“同意授权”后，即可正常使用：
2.1准备数据
ModelArts在公共OBS桶中提供了垃圾分类的示例数据集，命名为“automl_garbage_dataset”
本文的操作实验将使用此数据集进行模型构建。
关于数据集的下载您可以在华为云网页：
进行垃圾分类的数据集下载，数据集文件的大小不大，只有1626KB
或本微信公众号后台回复“分类”即可一键获取垃圾分类数据集：
2.2数据解压
在本地电脑平台，解压下载的
“automl_garbage_dataset.zip”压缩包。
例如，解压至本地“automl_garbage_dataset”文件夹下
2.3数据上传
按照步骤1操作进入对象存储服务：
点击创建的好的桶garbage-modelarts，进入“对象”页面：
再次点击文件夹garbage-data，在文件夹中选择“上传对象”
将步骤2.1下载的本地数据集中的文件夹拖拽至上传对象框中，点击上传即可：
点击上传即可完成本地到云端的数据上传：
3.1创建图像分类项目
进入ModelArts管理控制台主页，单击左侧导航栏“自动学习”
添加步骤1保存的访问密钥文件中的密钥：
在“图像分类”方框中单击“创建项目”
在“创建图像分类项目”页面中，填写“项目名称”“数据集名称”
选择“数据集输入位置”垃圾分类数据集OBS路径为“/garbage-modelarts/garbage-data/train/”
“数据集输出位置”选择一个空目录如“/garbage-modelarts/garbage-data/output/”
添加标签集为“garbage”
填写完信息后，认真比对一遍自己信息，是否有错误，无错之后点击“创建项目”即可创建图像分类项目：
如果此时未标注图片中没有显示图片，点击图中“同步数据源”即可导入OBS桶中图片文件。
4.1数据标注
数据标注，针对图像分类项目，即在已有数据集图像中，标注出不同类别物体，并为其打上标签。标注好的数据用于模型训练。
垃圾分类数据集中，未数据标注的图片有40张，用户需要选择未标注数据进行手动标注。
此处我们发现图片数据集里面的图片大致有这几种类别：
1.一次性快餐盒-其他垃圾
2.易拉罐-可回收物
3.干电池-有害垃圾
4.菜叶菜根-厨余垃圾
原先我们命名的garbage数据标签不够用
以“易拉罐-可回收物”数据标注为例子，我们操作一遍“易拉罐-可回收物”数据标注的过程：
在未标注图片中找到所有易拉罐的图片，并勾选图片左上的小勾√
勾选完之后在右侧标签名处
输入“易拉罐-可回收物”点击确定。
即可实现一次标注。
我们用这样的方法，依次把未标注图片中
1.一次性快餐盒-其他垃圾
2.易拉罐-可回收物
3.干电池-有害垃圾
4.菜叶菜根-厨余垃圾
等类别图片全部标注出来。
待未标注图片全部标注之后，在已标注图片处就是这样的页面：
右侧删除没有使用的garbage数据标签后是下面这个画面，右侧共4个标签，左侧的40张图片均已标注;
5.1自动训练，生成模型
本次实验共标注了40张图片，标注完成后，点击右侧的“开始训练”
点击开始训练，设置训练参数，此处默认即可：
单击“确定”开始模型的自动训练。深度学习训练时间相对较长，建议用户耐心等待。如果关闭或退出此页面，系统仍然在执行训练操作。
训练完成后，用户可以在界面中查看训练详情，如 “准确率”“评估结果”“训练参数”“分类统计表”等
6.1将模型部署上线为在线服务
在“模型训练”页签中，待训练状态变为“已完成”，单击“版本管理”区域中的“部署”。
在弹出的部署设置对话框中，选择“计算节点规格”，设置“自动停止”功能，单击“确定”开始将物体检测模型部署上线为在线服务。
如果选择免费规格，则不需要设置“自动停止”功能，1小时之后自动停止。
启动部署上线后，系统自动跳转至部署上线页面。此页面将呈现模型部署上线的进度和状态。
部署上线将耗费较多时间，请您耐心等待。
部署完成后，版本管理区域的状态将变更为
“运行中”
7.1发起检测
模型部署完成后，用户可添加图片进行检测，在“部署上线”界面，选择状态为“运行中”的服务版本，在“服务测试”区域单击“上传”检测图片进行检测。
在箭头指的地方即可看见检测结果，可以说利用ModelArts平台训练出来的模型检测效果是很棒的。
测试1
测试2
测试3
测试4
测试5
至此实验全部完成。
最后大家使用的云端资源记得全部删除如对象存储服务创建的OBS桶，文件夹；ModelArts创建的数据集，部署的模型等都需要删除，并停用访问密钥，以免造成不必要的花费。
通过对实验结果的比对，可以看出利用
[华为云ModelArts]训练出来的垃圾分类模型是很棒的，六个字总结就是-高效，快捷，省心。
正因我们国家有许多像华为这样强大的民族企业在国家背后默默做支撑，做奉献。我们国家才能屹立于世界民族之林。
华为，中国骄傲！中华有为！
- 点赞
- 收藏
- 关注作者
评论（0）