《深度学习：卷积神经网络从入门到精通》——2.13　权值偏置初始化

2.13　权值偏置初始化

在训练神经网络之前，必须对其权值和偏置进行初始化。常用的初始化方法有三种，分别是高斯初始化、Xavier初始化和MSRA初始化。它们一般都把偏置初始化为0，但对权值进行随机初始化。其中，高斯初始化比较容易理解，就是根据某个高斯分布来初始化权值，但均值通常选0，方差需要按经验人工选择。下面对Xavier和MSRA做进一步的

说明。

Xavier的基本思想是保持信息在神经网络中流动过程的方差不变[101]。这种方法在实际应用时根据一个均匀分布来初始化权值。如果某个神经元yj有n个输入x1, x2, …, xn，相应的连接权值为wij，则满足关系：

（2.97）

那么采用Xavier进行初始化的方法就是：

（2.98）

MSRA的基本思想与Xavier类似[102]，但主要是针对ReLU和PReLU激活函数来设计的。这种方法在实际应用时根据一个方差为??的零均匀高斯分布来初始化权值，即

（2.99）