RAdam和LookAhead合二为一

参考：https://www.leiphone.com/news/201908/SAFF4ESD8CCXaCxM.html

代码地址：

我训练的yolov3，开始两个epoch都不收敛

  optimizer = Ranger(params, weight_decay=config["optimizer"]["weight_decay"])

https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer

Geoffrey Hinton 和他的团队发表了一篇关于深度神经网络优化器的论文，介绍了一种新的优化器「LookAhead」 （《LookAhead optimizer: k steps forward, 1 step back》，https://arxiv.org/abs/1907.08610）。LookAhead 的设计得益于对神经网络损失空间理解的最新进展，提供了一种全新的稳定深度神经网络训练、稳定收敛速度的方法。

8 月，又有一篇关于优化器的论文《On the Variance of the Adaptive Learning Rate and Beyond》（https://arxiv.org/abs/1908.03265）吸引了不少研究人员的关注，这篇来自韩家炜团队的论文研究了深度学习中的变差管

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/101097683