《AI安全之对抗样本入门》—1.3.4　典型的CNN结构

1.3.4　典型的CNN结构

典型的CNN包含卷积层、全连接层等组件，并采用softmax多类别分类器和多类交叉熵损失函数，一个典型的卷积神经网络如图1-19所示。

图1-19　典型的CNN结构

我们先介绍用来构造CNN的常见组件：

• 卷积层：执行卷积操作提取底层到高层的特征，挖掘出图片局部关联性质和空间不变性质。

• 池化层：执行降采样操作。通过取卷积输出特征图中局部区块的最大值或者均值来实现。降采样也是图像处理中常见的一种操作，可以过滤掉一些不重要的高频信息。

• 全连接层：输入层到隐藏层的神经元是全部连接的。

• 非线性变化：卷积层、全连接层后面一般都会接非线性变化层，例如Sigmoid、Tanh、ReLu等来增强网络的表达能力，在CNN里最常使用的为ReLu激活函数。

• Dropout：在训练阶段随机让一些隐层节点不工作，提高神经网络的泛化能力，一定程度上防止过拟合，这一点就好比人眼在做图像识别时，适当遮住一部分像素不会影响识别结果一样。相对于浅层学习的SVM、KNN和朴素贝叶斯等，深度学习由于参数众多，更容易出现过拟合的现象，所以一般都需要使用Dropout机制。