余弦退货学习率
【摘要】
余弦退火
问题：t_max小于10时，步数较大，最小学习率只到10-5次方。
lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10,eta_min=4e-08)
lr_scheduler.step()
T_max 对应1/2个cos周期所...
余弦退火
问题：t_max小于10时，步数较大，最小学习率只到10-5次方。
lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10,eta_min=4e-08)
lr_scheduler.step()
T_max 对应1/2个cos周期所对应的epoch数值
eta_min 为最小的lr值，默认为0
这个学习率不能降到很低。
想把学习率上升阶段去掉：
代码：
设置起始学习率：
lr_scheduler.base_lrs[0]
if epoch%10==0 and epoch>0:
# adjust_learning_rate(optimizer,10)
lr_scheduler.last_epoch=-1
lr_scheduler.base_lrs[0]=0.001
文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/jacke121/article/details/110957382
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）