建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
093454tjmehwgqrskef4if.jpg 文字识别 百万调用 1元包年 2020年华为云AI实战营 华为云普惠AI

芽月

发帖: 1粉丝: 1

级别 : 新手上路

发消息 + 关注

发表于2020-6-24 14:12:30 1710 2
直达本楼层的链接
楼主
显示全部楼层
[技术交流] ModelArts中Keras训练、模型保存时遇见的几个小问题和解决

ModelArts为我们的模型训练提供了一个很好的环境,能够利用云端强大的计算力,通过算法训练出模型。但在实际使用中却会在不经意间遇见一些小问题。 算法实现到模型训练完成,两者间有一个等待的过程,而云端环境训练的好处,就是你可以让让训练继续,自己本地机器转而去做其他,无需等待,当有结果后,去查验结果即可。但实际使用中,却会出现以下情况,开始训练后,你转而去做其他事情,可能将开发环境页面也给关闭,回来时查看时却发现既没有模型,而且训练似乎卡住,不再进行,而console中同样没有信息提示,这极有可能是在训练过程中出现了错误,譬如显存不足,然而由于你离开过网页,再次进入时,console中却没有提示信息,因而这段时间的等待变得毫无意义。这时候应该怎么解决呢? 使用Keras搭建的算法,往往在训练模型时会调用`model.fit_generator` 函数,而后使用`model.save`进行保存,为解决上述问题,可以有两种方式: 1. 训练时使用小批量训练,为batch_size,设置一个合理的值,尽可能避免最后GPU显存超出现象,但小批量训练往往会造成下降方向随机性增大,更慢达到收敛,因而还需额外进行一定的归一化,以及提高训练轮数epochs 2. 在训练小部分数据后,将一个粗糙模型能够保存下来,即使训练中途出现问题导致停滞,后续训练也能够在粗糙模型基础上进行,避免前功尽弃。而由于Keras本身的封装,在训练数据庞大的情况下,即使小批量,小epoch训练后保存模型,比如一轮训练后保存一次模型,也会遇见上述问题,此时则可以想办法降低每轮训练喂入的数据通过多轮最终实现对于整体数据的训练。举例而言,8000条数据,可以设定每次喂入数据为80条,训练次数为100次,每次从元数据中随机选出80条数据进行`model.fit_generator`训练,然后保存粗糙模型,然后再次进行训练,当次数为100次时已经对所有元数据进行训练,而且训练过程中对于粗糙模型的保存能够避免自己的努力被浪费的情况。 示例代码如下: ```python # 随机训练的num trainNum=80 # 随机评估的num valNum=80 batch_size = 4 for i in range(0,100): # 随机训练的index trainStartIndex=random.randint(0, num_train - 1-trainNum) trainEndIndex=trainStartIndex+trainNum # 随机评估的index valStartIndex=random.randint(num_train, len(lines)-1-valNum) valEndIndex=valStartIndex+valNum model.fit_generator(data_generator(lines[trainStartIndex:trainEndIndex], batch_size, input_shape, anchors, num_classes), steps_per_epoch=max(1, trainNum//batch_size), validation_data=data_generator(lines[valStartIndex:valEndIndex], batch_size, input_shape, anchors, num_classes), validation_steps=max(1, valNum//batch_size), epochs=10, initial_epoch=0) #callbacks=[logging, checkpoint]) model.save_weights(r'obs://juziwei/code/yolo3-keras/logs/trained_weights_stage_1.h5') ```
举报
分享

分享文章到朋友圈

分享文章到微博

测试0000

发帖: 0粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020-6-24 14:32:07
直达本楼层的链接
沙发
显示全部楼层

132131

评论
测试0000 2020-6-24 14:32 评论

测试

... 查看全部
测试0000 2020-6-24 14:33 评论

12313

... 查看全部
测试0000 2020-6-24 14:34 评论

测试23

... 查看全部
点赞 评论 引用 举报

G-washington

发帖: 257粉丝: 76

级别 : 外部版主

发消息 + 关注

发表于2020-6-26 22:43:30
直达本楼层的链接
板凳
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册