中秋节的广西甘蔗——智蔗见智·向新而生(从obs容器到Baseline示例演示跑模型)
【摘要】 中秋节的时候我们理论上应该放假,但是放假、什么是放假?咱们程序员需要放假?不可能的。所以利用假期时间搞定广西万顷甘蔗地的图像分析还是会有很大的成就感的。目录训练资源地址obs环境准备运行-共计运行差不多50sbaseline复现训练方式baseline演示训练集和验证集的划分编辑开始训练训练资源地址接下来我们使用华为云的平台来处理甘蔗地图片。可以在华为云中下载获取,这里得通过桶进行保存...
中秋节的时候我们理论上应该放假,但是放假、什么是放假?咱们程序员需要放假?不可能的。所以利用假期时间搞定广西万顷甘蔗地的图像分析还是会有很大的成就感的。
目录
训练资源地址
接下来我们使用华为云的平台来处理甘蔗地图片。
可以在华为云中下载获取,这里得通过桶进行保存:
训练集数据压缩包解压后是一系列png格式图片,*_img.png
表示遥感图像,与其同名且后缀为_mask.png
的图像为对应的label图像。
obs环境准备
先登录到存储服务
我这有现成的桶我就不再创建了。
没有的需要自己创建一下。
进入桶:
进入:
咱们需要使用CodeLab
有72小时免费示例,初始化的时候需要等待一会。我9点52开始初始化的。
大概1分多钟完成的。
这里咱们选择C【Conda-python3】
进入编码阶段了。示例的桶是我的链接。具体看需求使用啊,从哪里复制到哪里。这里先有个说明,咱们接下来看baseline复现。
baseline复现
通过在modelarts中notebook中编写代码获取(注意这里路径没有换行)
obs地址为obs://ma-competitions-bj4/guangxi_remote_sense_segmentation/code/
,可以通过在notebook中新建如下代码将baseline的代码copy到你的环境下。
拿到baseline的代码后,可以看到四个文件夹,一共有两个baseline code及其对应的推理代码。对应解释如下
也可以直接复制到代码区
层级介绍
其中【/baseline/pytorch-lightning-unet/README.md】是说明文档
训练方式
直接如下图选择并创建,有券免费。
创建需要等一会,完成之后点击【打开】
主要使用文件类型
复制baseline
复制train
环境升级
添加一个Terminal
升级命令
解压zip压缩包
批量操作
baseline演示
当前的文档中3个内容1是baseline代码,2是操作文件,3是训练图片
训练集和验证集的划分
在72和73行是训练集和测试集
要求的路径是./dataset下,是train.py的相对路径,所以需要单独创建一个dataset文件夹,然后在往里面放置两个文件夹train与split_imgs分别是训练集和测试集,他的代码中有这个文件处理,我们直接都放一个文件夹就行。
再在/home/ma-user/work/baseline/pytorch-lightning-unet/dataset文件夹下创建train与split_imgs的文件夹,这里复制过来train的文件夹改个名字就行。
可以看到已经粘贴过去了。
航拍照片与标记照片都在一个文件夹里面,但是他的代码里面有区分,我们就不用管了。
开始训练
由于刚才一直在【/home/ma-user/work/】下干活了,咱们需要进入到train.py的文件夹执行
由于max是50,在平台上跑大概10-12小时左右。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
EI智能体-田海滨2022/09/07 03:15:351楼编辑删除举报
这里的估计是不准的哈,因为后面会将所有图像加入内存,所以从第二个epoch开始,训练会加速很多。
用华为云官网V100机器,大概需要12-13小时。
在保证模型收敛的足够好的情况下,选手可以减少max_epoch的值