建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消
更新于2020年12月29日 10:42:01 669 3
直达本楼层的链接
楼主
显示全部楼层
[教程] ModelArts AI Gallery算法Fast-scnn使用指导(样例文档)

本文档是ModelArts AI Gallery算法[Fast-scnn](https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=3c570119-69c1-40ec-9d41-2ab3ff0f6de7)(以下简称为本算法)的详细使用方法。 本算法使用Cityscapes高质量标注数据集中的train集和val集,使用train集训练,在val集上测试达到了mIOU=68.668的准确率。(需根据具体算法修改) ### 1. 准备数据集(需根据具体算法修改) 本算法支持的数据集格式为Cityscapes数据集。 Cityscapes数据集包含来自50个不同城市的街道场景中记录的各种立体声视频序列集,以及较大的20000个弱注释帧集和5000个帧的高质量像素级注释。因此,该数据集比已有的类似数据集大一个数量级。有关带注释的类的详细信息和注释示例可在[数据集官网](https://www.cityscapes-dataset.com/)上找到。 Cityscapes 数据集旨在用于: (1) 评估视觉算法在语义城市场景理解的主要任务上的性能:像素级,实例级和全景语义标记; (2) 支持旨在利用大量(弱)注释数据的研究,例如用于训练深度神经网络。 #### 1.1 下载数据集(需根据具体算法修改) 可[点此链接](https://www.cityscapes-dataset.com/downloads/)下载gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 两个文件,如下图所示: ![1_download_datasets.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145834qphjfrrbu3a6jdal.jpg) gtFine_trainvaltest.zip解压后的目录结构如下: └─gtFine ├─test ├─train └─val leftImg8bit_trainvaltest.zip解压后的目录结构如下: └─leftImg8bit ├─test ├─train └─val 如果您需要使用自己的数据集进行训练,则需要将数据目录整理成和上面一样的形式。更详细的数据集说明请查看Cityscapes[数据集官网](https://www.cityscapes-dataset.com/)上的描述。 #### 1.2 安装OBS Browser+并上传数据集 ModelArts使用对象存储服务(OBS)来存储数据,实现安全、高可靠和低成本的存储需求。OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。OBS Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理,例如:创建桶、上传下载文件、浏览文件等。 具体操作步骤如下: (1)[点此下载](https://support.huaweicloud.com/browsertg-obs/obs_03_1003.html)OBS Browser+,下载完成后解压缩,双击exe进行安装,安装完成后运行; (2)登录界面如下图所示,需要您填写账号名、Access Key ID(AK)和Secret Accsee Key(SK),参考[此文档](https://support.huaweicloud.com/modelarts_faq/modelarts_05_0004.html),获取AK和SK,华为云上的许多产品都需要用到访问密钥,请妥善保存该密钥文件,然后参考下图填写您的华为云账号名及刚获取的AK和SK,点击登录; ![2_login_in_obs_browser.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145849gupdaobznz5mkceo.jpg) (3)参考下图,点击“创建桶”,输入桶名称,**注意:区域要选择华北-北京四、标准存储、私有、关闭多AZ,桶名需自定义,OBS桶名要全局唯一,如提示桶名已存在,则需要您修改为其他名称,比如本文设置桶名为paper-reproduction-01。您设置的桶名必须与此不同,如在下文的操作指导中看到paper-reproduction-01,请主动将桶名替换为您自己的桶名,下文将不再进行提示**; ![3_create_bucket.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145901xa1nkrz3dl05vv5g.jpg) (4)点击桶名称,进入到桶中,点击“新建文件夹”,输入文件夹名称,如“train_input”,点击进入文件夹,再新建“datasets”,点击“上传”->“添加文件”-> 选择本地下载好的数据集压缩包(之所以选压缩包格式是因为如果数据集比较大,上传压缩包比上传文件夹快很多) –> 确定,如下图所示; ![4_upload_files.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145909oioyzvh8tmqgjxxf.jpg) (5)点击OBS Browser+左侧的“任务管理”,可查看数据上传进度。如下图所示,点击设置,在基础设置中,设置最大并发数为最大值50,可以加快数据上传速度 ![5_upload_files_2.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145920tylf0buqz9byzf2y.jpg) ### 2. 订阅本算法 点击本页面右上方的【订阅】按钮。然后点击页面下方的【下一步】按钮,再点击【确认付款】按钮,最后点击【确定】按钮进入我的订阅页面,可以看到刚刚订阅的算法。点击【应用控制台】超链接,选择华北-北京四区域,进入算法管理页面。 如下图所示,点击“同步”按钮,同步算法,可以点击刷新按钮,刷新状态。当状态变成就绪时,表示同步成功。 ![6_sync&train_job.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145929ga6vilw0ynzrepz1.jpg) ### 3. 创建训练作业(需根据具体算法修改) 点击上图中的“创建训练作业”,按照下表填写训练作业参数: | 参数名 | 参数值 | | ----------------- | ------------------------------------------------------------ | | 算法名称 | 默认值即可,无需修改 | | 数据来源 | 数据存储位置,选择obs://paper-reproduction-01/algorithms/train_input/datasets/ | | 模型输出 | 选择obs://paper-reproduction-01/algorithms/train_output | | num_nodes | 6 | | cuda_visiable | 0,1,2,3,4,5 | | config_file | configs/cityscapes_fast_scnn.yaml | | train_epochs | 1200 | | train_batch_size | 12 | | solver_lr | 0.045 | | solver_aux | True | | solver_aux_weight | 0.4 | | load_weight | deploy_model/model/best_model.pth | | | False | | 作业日志路径 | 选择obs://paper-reproduction-01/algorithms/logs | | 资源池 | 公共资源池 | | 规格 | modelarts.bm.gpu.v100.2,或者根据自己的需要进行选择 | | 计算节点个数 | 1 | 点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成model目录,该目录下有模型文件、ModelArts平台推理脚本(config.json、customize_service.py)和其他运行模型必备的文件。 ### 4. 模型导入 准备好模型及相关的必备文件后,您可以将生成的模型导入至ModelArts模型管理。具体操作如下: (1)在ModelArts控制台的左侧导航栏点击“模型管理” -> “模型”,点击右侧页面中的“导入”。在导入模型页面填写名称,选择元模型来源,可以直接从训练中选择,也可以从OBS中选择。如果是从OBS中选择,则需要选择到model目录的上一级目录;例如,本次可选择的目录为obs://paper-reproduction-01/algorithms/train_output,如下图所示: ![7_import_model.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/145940lgikynnci9kh9srf.jpg) 注意:选择好元模型路径后,“AI引擎”会自动填充。如未能自动填充,请检查元模型路径是否是model目录的上一级目录,或者model目录下是否包含模型配置文件config.json。 (2)点击“立即创建”,需要一点时间来等待模型导入和构建,当模型版本状态为“正常”后,即表示模型导入成功。 ### 5. 创建在线服务 在ModelArts上,可以将模型部署为在线服务,然后上传图片进行预测,直接在网页端观察预测结果。 部署为在线服务具体步骤如下: (1)在ModelArts左侧导航栏中选择“部署上线 -> 在线服务”,然后点击页面中的“部署”; (2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,计算节点规格选择CPU即可; ![8_online_service.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/1459499p8p62m5mxjtgqpr.jpg) (3)点击“下一步”,参数确认无误后,点击“提交”。 提交后,您可以在在线服务列表中查看部署进度,当状态变为“运行中”后,点击服务名称,进入详情页面,点击“预测”,上传图片进行测试。 ### 6. 创建批量服务 在ModelArts上,还可以将模型部署为批量服务,从OBS加载测试集图片进行预测,然后将预测结果输出到OBS。 部署为批量服务具体步骤如下: (1)在ModelArts左侧导航栏中选择“部署上线 -> 批量服务”,然后点击页面中的“部署”; (2)在部署页面填写参数,其中在“模型列表”选择要导入的模型及版本,填写输入数据目录和输出数据目录,计算节点规格选择“CPU 2核 8GB”,计算节点个数设为1; ![9_batch_service.jpg](https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202011/05/150005j12adsxjxiiponwd.jpg) (3)点击“下一步”,参数确认无误后,点击“提交”。 提交后,您可以在批量服务列表中查看部署进度,当状态变为“运行中”后,表示正在预测中,当状态变为“运行完成”,表示这批图片已经预测结束,预测结果是一批txt文件,保存在上图指定的OBS输出数据目录位置中,可以前往该目录查看结果。 ### 7. 模型评估 参考本文第2节中的步骤,创建“训练作业”,按照下表设置训练参数: | 参数名 | 参数值 | | ----------------- | ------------------------------------------------------------ | | 算法名称 | 默认值即可,无需修改 | | 数据来源 | 数据存储位置,选择测试集所在路径,如obs://paper-reproduction-01/algorithms/train_input/datasets/val | | 模型输出 | 选择obs://paper-reproduction-01/algorithms/train_output | | num_nodes | 1 | | cuda_visiable | 0 | | config_file | configs/cityscapes_fast_scnn.yaml | | train_epochs | 0 | | train_batch_size | 12 | | solver_lr | 0.045 | | solver_aux | True | | solver_aux_weight | 0.4 | | load_weight | obs://paper-reproduction-01/algorithms/train_output/model/best_model.pth | | | True | | 作业日志路径 | 选择obs://paper-reproduction-01/algorithms/logs | | 资源池 | 公共资源池 | | 规格 | modelarts.p3.large.ex,或者根据自己的需要进行选择 | | 计算节点个数 | 1 | 点击下一步,提交,训练作业的状态会经历“初始化”、“部署中”、“运行中”和“运行成功”四个状态。训练作业运行成功后,在上表中指定的“模型输出”路径下会自动生成pred_results目录和_result.txt文件,其中pred_results目录中是所有图片的预测结果。
举报
分享

分享文章到朋友圈

分享文章到微博

看那个码农

发帖: 55粉丝: 25

发消息 + 关注

发表于2020年11月05日 16:33:16
直达本楼层的链接
沙发
显示全部楼层

码住,谢谢楼主分享。

点赞 评论 引用 举报

可爱又积极

发帖: 127粉丝: 17

发消息 + 关注

发表于2020年11月06日 18:46:57
直达本楼层的链接
板凳
显示全部楼层

超级详细的分享,谢谢楼主

点赞 评论 引用 举报

andyleung

发帖: 889粉丝: 76

发消息 + 关注

发表于2020年11月07日 11:30:36
直达本楼层的链接
地板
显示全部楼层

非常感谢 楼主版主大人的分享 ,mark 一下,以后肯定用得上的~  感谢 感谢 

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册