深度学习: 学习率 (learning rate)

 作者：liulina603        致敬
原文：https://blog.csdn.net/liulina603/article/details/80604385
 

深度学习: 学习率 (learning rate)

Introduction

学习率 (learning rate)，控制 模型的 学习进度 ： 

lr 即 stride (步长) ，即反向传播算法中的 ηη ：

ωn←ωn−η∂L∂ωnωn←ωn−η∂L∂ωn

 学习率大小

学习率设置

在训练过程中，一般根据训练轮数设置动态变化的学习率。

• 刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
• 一定轮数过后：逐渐减缓。
• 接近训练结束：学习速率的衰减应该在100倍以上。

 Note： 
如果是 迁移学习 ，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤10−4≤10−4) 在新数据上进行 微调 。

把脉 目标函数损失值 曲线

理想情况下 曲线 应该是 滑梯式下降 [绿线]： 

 1. 曲线 初始时 上扬 [红线]： Solution：初始 学习率过大 导致 振荡，应减小学习率，并 从头 开始训练 。
 2. 曲线 初始时 强势下降 没多久 归于水平 [紫线]：  Solution：后期 学习率过大 导致 无法拟合，应减小学习率，并 重新训练 后几轮 。

  3. 曲线 全程缓慢 [黄线]：  Solution：初始 学习率过小 导致 收敛慢，应增大学习率，并从头 开始训练。

希望对你有帮助！

文章来源: guo-pu.blog.csdn.net，作者：一颗小树x，版权归原作者所有，如需转载，请联系作者。

原文链接：guo-pu.blog.csdn.net/article/details/83660728