ModelArts预置算法如何设置热启动learning rate

从AI市场上订阅的预置算法可以通过调节learning rate来调优模型，通常超参有如下的解释

训练的学习率策略。”10:0.001,20:0.0001”代表0-10个epoch学习率0.001，10-20epoch学习率0.0001。如果不指定epoch, 会根据验证精度情况自动调整学习率，并当精度没有明显提升时，训练停止。

learning rate设置有多重方式，参见下面的链接

https://zhuanlan.zhihu.com/p/32923584

下面要介绍的是如何实现cosine_decay_restarts

例如learning rate我可以设置为如下

2:0.0001->0.001,38:0.001~>0.00001,40:0.00001,42:0.00001->0.001,78:0.001~>0.00001,80:0.00001

    `->` 代表线性增长或衰减。0~5个epoch：0.1线性增长到0.4。
   `=>` 代表指数增长或者衰减。5~10个epoch：0.4指数增长到0.8。
    `~>` 代表cosine 增长或衰减。10~15个epoch：0.8consine衰减到0.001。

2:0.00001->0.001代表从0到2个epoch，learningrate由0.00001增加到0.001

38:0.001~>0.00001代表从2到38个epoch，learningrate以cosine decay方式由0.001降低到0.00001

下面就是实际的learningrate图