建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

更新于2020年11月07日 17:15:06 313 24
直达本楼层的链接
楼主
显示全部楼层
[干货分享] MindSpore21天实战营Part3实战笔记——使用MindSpore实现Resnet50毒蘑菇识别

其实张小白昨天就开始做part3毒蘑菇的作业了。。。但是一言难尽。。所以不得不再开个part2的贴。。  https://bbs.huaweicloud.com/forum/thread-86316-1-1.html

张小白以前说过,AI时代,最重要的是分身能力。

下面就把这个过程用千言万语“尽”一下吧。

(一、体验作业篇)

体验作业看起来较为简单,就是将OBS桶上放满水,,nono,

是建好桶 mindspore-21day-tutorials 

以及体验目录resnet-50

image.png

并将ResNet-50体验作业一键下载包.zip的内容解压上传到这个目录下,包含:

image.png

resnet目录下的bert源代码

ckpt_files目录下的预训练模型 resnet-90_209.ckpt,

mushrooms目录下的待预测的蘑菇图片tum.jpg(替换掉原来的卡通蘑菇图片,,,。这是张小白问俺家度娘小助手查到的。。。)

image.png

然后去ModelArts的训练管理去新增训练作业。。

按照文档要求的参数去建就可以了

image.png

张小白的参数跟上面的区别就是:ascend-tutorials桶名称换成了 mindspore-21day-tutorials 

其他几乎一样。。

image.png

好像2分钟不到就推理训练作业ok了。。。(这让张小白对训练作业的性能产生了巨大的误解,也是张小白至今无法出坑的原因。。。)

然后查看日志。。

image.png

为啥会有两个文件,因为张小白把原来那个卡通蘑菇改名成 tum1.jpg了。。

image.png

然而,结果是令人惊讶的。。。明明张小白上传的是有毒的蘑菇,这里检测出来的是无毒的?而且,前一个卡通图片,

image.png

看着是可爱,但是它是蘑菇吗?你说它无毒,我说它无毒也不能吃啊。。。

一定是哪里出了问题。。。。

但是。。。张小白不知道。

张小白先把这个预测结果和毒蘑菇图片发发送到gitee去候审了。。。心想,也不知道是老师审我还是我审老师。。总之。。。看着办吧。。。

(等待是一种美德。。。)




举报
分享

分享文章到朋友圈

分享文章到微博

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

更新于2020年11月07日 16:46:54
直达本楼层的链接
沙发
显示全部楼层

(二、进阶作业篇)

进阶作业就是在桶 mindspore-21day-tutorials 

里面建个进阶目录resnet-50-2

image.png


并将ResNet-50进阶作业一键下载包.zip的内容

image.png

解压上传到这个目录下,

image.png

image.png

image.png

上传结果包含:

image.png

ckpt_files 空目录这回不用预训练模型了。。因为这次是要真正的进行模型训练。。。

mushrooms 比体验作业多了个训练数据集train目录,下面有9个分类的毒蘑菇:AABCEHLRS.

image.png

张小白稍后也下载了自己想预测的有毒的无毒的蘑菇图片:

image.png

分成du和nodu两种(这英文水平也是醉了。。。)

将其上传到mushrooms 的test目录下:

image.png

像建立体验作业的训练任务一样,我们来建立进阶任务的训练任务:

进阶作业.doc上是这么说的:

image.png

image.png

饭饭大侠的实践文章(https://bbs.huaweicloud.com/forum/thread-85549-1-1.html  )是这么说的:

image.png

张小白居然信了。。因为饭大大并没有提到模型训练需要多少时间。照以前做AI实战营的情况,感觉模型训练也就个把小时的事情吧。。。(大错特错了!)


张小白是这么新建模型训练作业的。。。

image.png

image.png

image.png

10分钟过去了。。。

训练中。。。

。。。。

4个半小时过去了。。。

image.png

训练中。。。。epoch走到43了。。。(一共是90吧。。)

image.png

image.png

。。。

6个小时了,,epoch走到57了。。

image.png

本帖发的时候,,,,, 北京时间8:53

image.png

epoch跑到 65了。。。还有25个要跑。。。。

张小白决定不理它了。。。

(继续等待也是一种美德。。。)

点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

更新于2020年11月07日 08:58:31
直达本楼层的链接
板凳
显示全部楼层

张小白查了一下训练作业的规格:

Ascend: 1 * Ascend 910 CPU:24 核 96GiB

貌似也不小啊。。。是哪里的姿势不对吗?

为啥饭饭能10分钟搞定,张小白快10个小时了都没搞定。。。

image.png

点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

更新于2020年11月07日 09:15:59
直达本楼层的链接
地板
显示全部楼层

训练了7个小时10分钟,跑到69了。。

image.png

点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 10:24:35
直达本楼层的链接
5#
显示全部楼层

8小时20分钟,80.

image.png


点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 11:18:29
直达本楼层的链接
6#
显示全部楼层

感觉即将结束。。。

image.png


点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 11:36:57
直达本楼层的链接
7#
显示全部楼层

终于训练结束了。

image.png

官方文档训练时间为 5248,50轮epoch

image.png

我的训练时间为 383984.517,90轮epoch。。。

张小白还是把日志下载下来供分析吧。。。

image.png



点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

更新于2020年11月07日 11:54:02
直达本楼层的链接
8#
显示全部楼层

在output目录下有ckpt的训练结果:

image.png

把这些文件下载下来吧。。

image.png

然后也照着体验那样,

image.png

将第90轮的结果传到 ckpt_files目录下。

image.png

image.png

咱们再开始推理吧。。。。

推理之前,为了防止张小白新增的照片像体验作业那样检验不出毒,特意将训练集里面的一些照片拷贝出来重新命名传到test目录下去。心想这些照片一模一样的总能被推理出来的吧。。。

image.png


image.png

创建推理训练作业。。。



点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 12:13:12
直达本楼层的链接
9#
显示全部楼层

image.png


image.png

其中:

代码目录:/mindspore-21day-tutorials/resnet-50-2/resnet/

启动文件:/mindspore-21day-tutorials/resnet-50-2/resnet/resnet50_predict.py

数据存储位置:/mindspore-21day-tutorials/resnet-50-2/mushrooms/test/

训练输出位置:/mindspore-21day-tutorials/resnet-50-2/output/

增加运行参数:checkpoint_path = s3://mindspore-21day-tutorials/resnet-50-2/ckpt_files/resnet-90_18810.ckpt

作业日志路径:/mindspore-21day-tutorials/resnet-50-2/log/

点击下一步:

image.png

确认无误后提交:

image.png

可以查看训练详情。。。

image.png

并通过日志查看训练情况。。

image.png

耐心等待训练结束吧。。

点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 12:18:07
直达本楼层的链接
10#
显示全部楼层

30秒内就训练成功了。。。

image.png


然而结果继续让人惊讶。。。难道都是毒蘑菇??而且都是“Amanita毒蝇伞,伞菌目,鹅膏菌科,鹅膏菌属,主要分布于我国黑龙江、吉林、四川、西藏、云南等地,有毒?

我明明是一样蘑菇选了一种。。。

image.png

简直不敢相信。。。

点赞 评论 引用 举报

张辉

发帖: 80粉丝: 31

级别 : 金牌会员

发消息 + 关注

发表于2020年11月07日 12:25:19
直达本楼层的链接
11#
显示全部楼层

为了验证我的猜想,我把Amanita开头的图片删了,再推理一次。

image.png

点击作业中的修改。再提交一次。。

image.png

image.png

新版推理训练中。。。

image.png

训练成功,日志如下:

image.png

拜托,我已经把唯一的 Amanita删了啊。。。还有?



点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册