《深度学习：卷积神经网络从入门到精通》——2.12　局部响应归一化

2.12　局部响应归一化

为了改善卷积神经网络的效果，有时需要对某一层的所有卷积面（或池化面）逐一进行局部归一化处理。从理论上说，应该把这种处理的结果当作一个新增的层来看待，但实际应用时一般不被统计到层数中。

如果用??表示第i个卷积面（或池化面）上在位置(x, y)的值，则局部响应归一化的值??是通过若干相邻卷积面在位置(x, y)的值来计算的，公式如下：

（2.93）

其中，N是卷积面（或池化面）的总数，n是相邻面的个数，k、α、β是可调参数。

令?，则式（2.91）可改写为

（2.94）

在经过局部响应归一化处理后，由于整个网络的模型已经发生了变化，所以其学习训练过程也需要做相应的调整。这种调整涉及如下偏导数的计算：

（2.95）

其中，E为目标函数，，且??的计算公式如下：

（2.96）