垃圾分类之场景化AI体验【玩转华为云】
1、概述
垃圾分类是一项“利国利民”的民生工程,需要全社会的共同参与,随着垃圾分类工作的不断推进,垃圾分类意识越来越深入人心,垃圾分类也越分越细。由于世界上人口众多,从目前情况来看,垃圾分类主要靠人力完成,耗时耗力。而利用AI技术进行垃圾分类,可实现垃圾快速分拣,减少人类劳力的优势。智能化分拣可用在居民投递的垃圾箱终端设备上,利用训练垃圾的检测模型,识别厨余垃圾里是否有其他垃圾,如塑料袋、纸张等。
本次测试项目是图像分类下任务子类,使用efficientnet-b4骨干网络进行垃圾分类。数据集为华为云AI Gallery上提供的数据集。详情可参见本案例的关联资产。
1.1、项目流程
【数据】 —> 【搭建预处理pipeline】 -> 【搭建backbone结构】 -> 【搭建neck/head结构】 -> 【训练】 -> 【测试】 -> 【离线推理】 -> 【在线推理】
2、 操作流程
2.1、准备环境
运行时依赖环境
- moxing>=2.0
- torch>=1.4
- mmcv-full>=1.2.5,<1.3.0 (如果环境中没有mmcv-full,安装可能会消耗10几分钟)
- tensorboard
- 将环境中的pycocotools替换成mmpycocotools
!pip uninstall -y pycocotools
!pip uninstall -y moxing
!pip install "mmcv-full>=1.2.5,<1.3.0" -I
!wget https://modelarts-cnnorth4-market.obs.cn-north-4.myhuaweicloud.com/moxing-apps/notebooks/release/210705/1_1_ImageClassification_Primary/requirements.txt -O requirements.txt
!pip install -r requirements.txt
2.2、准备数据
2.2.1、下载数据集
将8类垃圾数据下载到/tmp/dataset_garbages8下,并解压缩
!mkdir -p /tmp/dataset_garbages8
!wget --no-check-certificate https://modelarts-cnnorth4-market.obs.cn-north-4.myhuaweicloud.com/dataset-apps/image_classification/8-garbages/8-garbage.zip -O 8-garbage.zip
!unzip -o 8-garbage.zip -d /tmp/dataset_garbages8
2.2.2、 观察数据集
通过此步操作可看到需筛选的所有垃圾图片,本次操作主要针对所显示的图片进行垃圾分类。
2.2.3、切分数据集
将数据集按照9:1切分为训练集和验证集,并分别保存至/tmp/dataset_garbages8/train//tmp/dataset_garbages8/eval/
下。
2.2.4、准备预训练模型
下载预训练模型,执行以下命令
!mkdir -p /tmp/pretrained_model/efficientnet/
!wget --no-check-certificate https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/moxing_pretrained/efficientnet-b4/adv-efficientnet-b4-44fb3a87.pth -O /tmp/pretrained_model/efficientnet/efficientnet-b4.pth
2.2.5、 训练
数据集和预训练模型已经准备完毕,开始编写训练脚本,首先引入必要的包。
初始化参数
- lr_config表示学习率为阶段函数,初始学习率为002,并且在第15/25/30个epoch下降到原来的十分之一
- launcher填入none,gpu_ids填入[0],表示单机单卡训练
- load_from用于加载预训练模型
work_dir为模型保存路径
2.2.6、 创建数据预处理和增强方法
2.2.7、 创建算法
使用mox.api的方式构建efficientnet_b4,并开始训练。
2.2.8、测试
使用刚才训练好的模型,在测试集上做一次精度测试。首先初始化配置
2.2.9、 离线推理
使用刚才训练好的模型,在验证集上尝试做一次推理,首先初始化配置。 这里演示如何推理一张图片,如果想要推理多个图片,可以将img_path
修改为一个路径,那么就会推理这个路径下的所有图片了。
2.2.10、在线推理
使用TorchServing进行下一步操作。
启动服务
- 配置jdk环境变量
- 配置nvidia环境变量,与终端环境变量不一致
2.2.11、预测结果,并关闭服务
3、结束语
大家可根据如下链接进行实验操作。https://developer.huaweicloud.com/develop/aigallery/home.html
- 点赞
- 收藏
- 关注作者
评论(0)