《深度学习：卷积神经网络从入门到精通》——2.14　丢失输出

2.14　丢失输出

在训练神经网络时，如果训练样本较少，一般就需要考虑采用某些正则化技巧来防止过拟合。丢失输出（dropout）是一种简单有效的正则化技巧，其基本思想是通过阻止特征检测器的共同作用来提高神经网络的泛化能力[40]。

丢失输出是指在神经网络的训练过程中随机让网络的某些节点（包括输入和隐含节点）不工作。那些不工作的节点可以暂时认为不是网络结构的一部分。例如，图2.2所示的神经网络，在经过丢失输出处理后，可能暂时变成图2.9所示的结构。

图2.9　丢失输出神经网络举例，其中带有标记“×”的神经元输出被暂时丢失了

如果用y = f(wz + b)表示某层的神经元输出，那么对该层进行丢失输出操作实际上相当于把y逐元乘以一个同样大小的随机掩膜r，因此输出被修正为

（2.100）

其中，r =(ri)，ri服从伯努力分布，即ri～Bernoulli(p)。

丢失输出在本质上可以看作给网络增加了一个具有随机性的辅助层，其计算过程可参见图2.10a。

图2.10　丢失输出和丢失连接的计算过程比较