《AI安全之对抗样本入门》—1.3.2　参数共享

1.3.2　参数共享

本质上隐藏层的一个节点与输入层一个节点的连接，对应的就是一个连接参数，大量的连接也就意味着大量的参数需要计算，仅依靠局部连接技术是无法进一步减少计算量的，于是人们又提出了参数共享。所谓的参数共享是基于这样一个假设，一部分图像的统计特性与完整图像的相同。回到上面的例子，每个隐藏层的节点只与输入层的100个节点连接，这样每个隐藏层节点就具有100个参数，全部隐藏层就具有1000000×100 = 108个参数，使用参数共享后，每个隐藏层的节点都具有完全相同的参数，全部隐藏层就只有100个参数需要计算了，这大大减少了计算量，而且即使处理更大的图像，只要单一隐藏层节点与输入层连接的个数不变，全部隐藏层的参数个数也不会变。这种共享参数的机制，可以理解为针对图像的卷积操作。假设如图1-13所示，具有一个4×4大小的图像和一个大小为2×2的卷积核。

大小为2×2的卷积核对原始图像第1块大小为2×2的图像进行卷积操作，得到卷积结果为2，如图1-14所示。

图1-13　原始图像与卷积核

图1-14　卷积核对原始图像第1个2×2的块进行处理

大小为2×2的卷积核对原始图像第2块大小为2×2的图像进行卷积操作，得到卷积结果为1，如图1-15所示。

图1-15　卷积核对原始图像第2个2×2的块进行处理

如果大小为2×2的卷积核依次对原始图像进行卷积操作，移动的步长为2，那么最终将获得一个2×2的新图像，如图1-16所示。

图1-16　卷积核对原始图像处理后的结果

可见卷积处理后图像的大小与卷积核的大小无关，仅与步长有关，对应的隐藏层的节点个数也仅与步长有关。另外需要说明的是，卷积核处理图像边际时会出现数据缺失，这个时候需要将图像补全，常见的补全方式有两种，分别是same模式和valid模式，same模式会使用0数据补全，而且保持生成图像与原始图像大小一致。

same模式会使用大小为2×2的卷积核依次对原始图像进行卷积操作，移动的步长为1，最终获得一个4×4的新图像如图1-17所示。这里需要再次强调的是，当步长为1时，无论卷积核大小如何，处理前后图像大小不变；只有当步长大于1时，处理后的图像才会变小。

图1-17　卷积核对原始图像处理后的结果