《卷积神经网络与计算机视觉》 —3.3.2参数学习

3.3.2参数学习

可以使用广义delta规则（反向传播算法）来学习反馈网络中的参数，类似于前馈网络。然而，不像在前馈网络中那样通过网络层进行误差反向传播，而是在反馈网络中通过时间执行反向传播。 在每个时刻，RNN的输出被计算为其先前和当前输入的函数。基于时间的反向传播（BPTT）算法不允许学习序列中的长时关系，因为长序列上的误差计算存在困难。具体说来，当迭代次数增加时，BPTT算法遭受梯度消失或梯度爆炸问题的困扰。解决此问题的一种方法是通过截断展开的RNN计算误差信号。这降低了长序列的参数更新过程的成本，但是将每个时刻的输出依赖限制为少数的先前隐藏状态。