《深度学习》正则化笔记分享

正则化的主要目的是为了防止过拟合，而它的本质是约束（限制）要优化的参数。通常我们通过在Cost function误差函数中添加惩罚项来实现正则化。当然，正则化有其缺点，那就是引入正则化可能会引起“too much regularization”而产生误差。

问：对于正则化，有使模型“简单”的优点，这其中”简单”怎么理解？

答：引用李航老师书中的那段话：正则化符合奥卡姆剃刀 (Occam’s razor)原理。奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应 该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。

需要注意的是，在正则化的时候，bais是不需要正则化的，不然可能会导致欠拟合！

下面介绍一些常见的正则化方式：

L2正则化：对于网络中的每个权重w，向目标函数中增加一个½λω²，其中λ是正则化强度。前面这个½很常见，是因为加上½后，该式子关于ω梯度就是λω而不是

2λω了。L2正则化可以直观理解为它对于大数值的权重向量进行严厉惩罚，倾向于更加分散的权重向量。由于输入和权重之间的乘法操作，这样就有了一个优良的特

性：使网络更倾向于使用所有输入特征，而不是严重依赖输入特征中某些小部分特征。最后需要注意在梯度下降和参数更新的时候，使用L2正则化意味着所有的权重都以 ω+ = -λ *ω 向着0线性下降。

L1正则化：对于每个ω我们都向目标函数增加一个λ|ω|。L1和L2正则化也可以进行组合：λ1|ω|+λ₂ω²，这也被称作Elastic net regularizaton。L1正则化有一个有趣的性质，它会让权重向量在最优化的过程中变得稀疏（即非常接近0）。也就是说，使用L1正则化的神经元最后使用的是它们最重要的输入数据的稀疏子集，同时对于噪音输入则几乎是不变的了。相较L1正则化，L2正则化中的权重向量大多是分散的小数字。在实践中，如果不是特别关注某些明确的特征选择，一般说来L2正则化都会比L1正则化效果好。

L1,L2的图像化：

想象现在只有两个参数 θ1和θ2  要学, 蓝色的圆心是误差最小的地方, 而每条蓝线上的误差都是一样的. 正规化的方程是在黄线上产生的额外误差(也能理解为惩罚度), 在黄圈上的额外误差也是一样. 所以在蓝线和黄线 交点上的点能让两个误差的合最小. 这就是 θ1和θ2

 正则化后的解. L1 的结并不是稳定的. 比如用批数据训练, 每次批数据都会有稍稍不同的误差曲线

L2 针对于这种变动, 白点的移动不会太大, 而 L1的白点则可能跳到许多不同的地方 , 因为这些地方的总误差都是差不多的. 侧面说明了 L1 解的不稳定性。

注意记住：L1正则化会让权重向量在最优化的过程中变得稀疏（即非常接近0），使得L1很多时候也拿来做特征选择;L2正则化可以直观理解为它对于大数值的权重向量进行严厉惩罚，倾向于更加分散的权重向量。

最大范式约束（Max norm constraints）：另一种形式的正则化是给每个神经元中权重向量的量级设定上限，并使用投影梯度下降来确保这一约束。在实践中，与之对应的是参数更新方式不变，然后要求神经元中的权重向量必须满足||ω||₂<c这一条件，一般ω值为3或者4。有研究者发文称在使用这种正则化方法时效果更好。这种正则化还有一个良好的性质，即使在学习率设置过高的时候，网络中也不会出现数值“爆炸”，这是因为它的参数更新始终是被限制着的。