《Keras深度学习实战》—3.8　AdaDelta优化算法

3.8　AdaDelta优化算法

AdaDelta解决了AdaGrad优化算法学习率下降的问题。AdaGrad的学习率为1除以平方根的总和，每个阶段会添加一个平方根，使得分母不断增加。而AdaDelta不是对所有先前的平方根求和，而是使用允许总和减少的滑动窗口。

AdaDelta是AdaGrad的改进，减缓了学习率的下降速率。AdaDelta不是累积所有过去的平方梯度，而是将累积过去梯度的窗口限制为固定大小w。

AdaDelta不是低效地存储w大小的过去平方梯度，而是将梯度的总和递归地定义为所有过去的平方梯度的衰减平均值。时间步长t的运行平均值E[g2]t仅依赖于先前的平均值和当前梯度（γ作为系数，类似于动量项）：

其中E[g2]t是时间t时的梯度的平方和，γE[g2]t-1是时间t-1的梯度平方和的γ倍，其中γ是E[g2]t-1被添加到等式的系数。

假设θ有增量，则：

所以新的Δθ项为：

3.8.1　准备工作

引入前面的示例通用代码指定的类、方法等。