深度神经网络--3.2　反向传播

第1章中介绍了梯度下降算法训练回归模型，神经网络模型也一样需要使用梯度下降算法来更新参数。然而一个神经网络通常会有上百万的参数，那么如何高效地计算这百万级别的参数是需要重点考虑的问题。神经网络中使用反向传播（Backward Propagation）算法，使得计算梯度更加有效率。在介绍反向传播之前，先来介绍一下链式法则。假设有两个函数y=g（x）和z=h（y），那么z对x的求导过程如下：

假设有三个函数x=g（s）、y=h（s）和z=k（x，y），z对s的求导过程如下：

神经网络的梯度计算，就是依赖链式法则一层层反向传播的。如图3.4所示的前向神经网络，输入层有n个属性x1，x2，…，xn，中间隐藏层有p个神经元，第j个神经元为hj，j∈（0，p-1）。

输出层为q维。对隐藏层的每一个神经元hj，先经过一个线性变换，公式如下：

式中，wj0——偏置值；wj1，wj2，…，wjn——作用在属性x1，x2，…，xn上的权重。[插图]输入给神经元后，经过激活函数的作用得到[插图]。第二层同理有神经元输入：

输出。以上为前向神经网络的前向传播（ForwardPropagation）过程。对单个数据样本（x，y），假设损失函数为均方差，则对第k个输出项的损失为：

通过链式法则，损失函数对权重vkj的梯度为：

式中，第一项

第三项

而对于第二项，假设激活函数为sigmoid函数，则梯度有一个很好的性质，即：

三项相乘可以得到：

由于真实标签yk由数据给定，而输出值[插图]与hj均由前向传播算法计算得到，则可以轻易地计算得到每个中间层权重vkj，并且该计算过程可以并行进行。类似地，可以得到损失值在隐藏单元hj上的累积梯度为

同理，可以通过链式法则，得到损失函数对第一层权重wji的梯度为（假设隐藏层激活函数为ReLU函数）：

在上一步计算得到后，也可以高效并行地计算出。在上述过程中，假设了损失函数是均方差，激活函数为sigmoid和ReLU，其实这样的计算法则对任意可微的损失函数和激活函数都是有效的。从计算过程来看，在前向传播得到隐藏层与输出层数值后，先从损失函数算起，接着从顶层逐渐计算梯度，将梯度逐层往输入层传播。这与前向传播的顺序是相反的，也是该算法为什么被称为反向传播的原因。反向传播（见图3.5）得到所有参数的梯度之后，可以利用梯度下降算法对参数进行更新迭代，从而达到训练神经网络的目的。神经网络训练过程如算法3.1所示。

输入:数据集,步长为α,小批量训练样本的大小为b,迭代次数为T

输出:训练完成的神经网络

(1) 初始化网络参数w0

(2) for t∈{1,2,…,T}

(3) 从m个样本中均匀随机无放回选取b个样本mb

(4) 前向传播逐层计算隐藏层的参数值,得到样本输出

(5) 根据损失函数计算误差,得到输出层梯度

(6) 反向逐层计算隐藏层梯度

(7) 计算连接参数梯度并更新参数