《深度学习：卷积神经网络从入门到精通》——2.15　丢失连接

2.15　丢失连接

丢失连接（dropconnect）是对丢失输出的一种简单改进[41]，两者的区别在于前者用随机掩膜来限制某个层的输出，而后者用其来限制某个层的连接权值。丢失连接在本质上是指在神经网络的训练过程中随机让网络的某些连接不工作，其计算过程如图2.9b所示。

如果用y = f(wz + b)表示某层的神经元输出，那么对该层进行丢失连接操作实际上相当于把权值矩阵w逐元乘以一个同样大小的随机掩膜r，因此输出被修正为

（2.101）

其中，r =(rij)，rij服从伯努力分布，即rij～Bernoulli(p)。