ModelArts预置算法如何设置热启动learning rate
【摘要】 ModelArts预置算法learning rate设置
从AI市场上订阅的预置算法可以通过调节learning rate来调优模型，通常超参有如下的解释
训练的学习率策略。”10:0.001,20:0.0001”代表0-10个epoch学习率0.001，10-20epoch学习率0.0001。如果不指定epoch, 会根据验证精度情况自动调整学习率，并当精度没有明显提升时，训练停止。
learning rate设置有多重方式，参见下面的链接
https://zhuanlan.zhihu.com/p/32923584
下面要介绍的是如何实现cosine_decay_restarts
例如learning rate我可以设置为如下
2:0.0001->0.001,38:0.001~>0.00001,40:0.00001,42:0.00001->0.001,78:0.001~>0.00001,80:0.00001
`->` 代表线性增长或衰减。0~5个epoch：0.1线性增长到0.4。
`=>` 代表指数增长或者衰减。5~10个epoch：0.4指数增长到0.8。
`~>` 代表cosine 增长或衰减。10~15个epoch：0.8consine衰减到0.001。
2:0.00001->0.001代表从0到2个epoch，learningrate由0.00001增加到0.001
38:0.001~>0.00001代表从2到38个epoch，learningrate以cosine decay方式由0.001降低到0.00001
下面就是实际的learningrate图
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）