第2章预 备 知 识

本章主要介绍深入理解卷积神经网络涉及的预备知识，包括激活函数、矩阵运算、导数公式、梯度下降算法、反向传播算法（分为通用反向传播算法和逐层反向传播算法）、通用逼近定理、内外卷积运算、膨胀卷积运算、上下采样运算、卷积面计算、池化面计算、局部响应归一化、权值偏置初始化、丢失输出、丢失连接、随机梯度下降算法、块归一化、动态规划算法等。

2.1　激活函数

在神经网络中，虽然理论上激活函数可以是线性的，比如恒等函数f(x) = x，但一般选为非线性的sigmoid函数：

（2.1）

或者双曲正切函数tanh：

（2.2）

此外，激活函数可以是硬限幅函数：

（2.3）

或者斜面函数：

（2.4）

当然，激活函数还有很多其他选择，比如，

校正线性单元（或修正线性单元）ReLU：

（2.5）

渗漏校正线性单元（或渗漏修正线性单元）LReLU：

（2.6） ccccc

其中，a∈(0, 1)是一个固定值。如果按某个均匀分布取随机值，则称为RReLU（Ramdomized LReLU）。

参数校正线性单元（或参数修正线性单元）PReLU：

（2.7）

其中，a≤1是一个可调参数，具体值需要通过学习得到。

指数线性单元ELU（其中a≥0是一个可调参数）：

（2.8）

软加函数softplus：

（2.9）

最大输出函数maxout：

（2.10）

软最大输出函数softmax：

（2.11）