《AI安全之对抗样本入门》—1.3　基于CNN的图像分类

1.3　基于CNN的图像分类

1.3.1　局部连接

人们尝试直接把原始图像作为输入，通过深度学习算法直接进行图像分类，从而绕过复杂的特征工程。常见的深度学习算法都是全连接形式，所谓全连接，就是第n – 1层的任意一个节点，都和第n层所有节点有连接，如图1-10所示。

同时，临近输入层的隐藏层的任意节点与输入层的全部节点都有连接，如图1-11所示。

以一个大小为1000×1000的灰度图像为例，输入层节点数量为1000×1000=1000000，隐藏层节点数量也为1000×1000=1000000，仅输入层与隐藏层的连接就需要1000000×1000000=1012，这几乎是个天文数字，如此巨大的计算量阻碍了深度学习在图像分类方向的应用。

事情的转机来源于生物学的一个发现。人们在研究猫的视觉神经细胞时发现，一个视觉神经元只负责处理视觉图像的一小块，这一小块称为感受野（Receptive Field），类比在图像分类领域，识别一个图像是何种物体时，一个点与距离近的点之间的关联非常紧密，但是和距离远的点之间关系就不大了，甚至足够远的时候就可以忽略不计。

全连接与局部连接示意图，如图1-12所示。

图1-12　全连接与局部连接示意图

具体到深度学习算法上，在隐藏层与输入层之间，隐藏层的一个节点只处理一部分输入层节点的数据，形成局部连接。继续上面的例子，假设每个隐藏层的节点只处理10×10大小的数据，也就是说每个隐藏层的节点只与输入层的100个节点连接，这样在隐藏层节点数量和输入层节点数量不变的情况下，输入层与隐藏层的连接需要1000000×100 = 108，是全连接的万分之一，虽然计算量下降不少，但是依然十分巨大。局部连接不会减少隐藏层的节点数量，减少的是隐藏层和输入层之间的连接数。