全连接、局部连接、全卷积与局部卷积学习笔记

局部卷积图像修复实例：

图像修复 学习笔记_AI视觉网奇的博客-CSDN博客

大多数神经网络中高层网络通常会采用全连接层(Global Connected Layer)，通过多对多的连接方式对特征进行全局汇总，可以有效地提取全局信息。但是全连接的方式需要大量的参数，是神经网络中最占资源的部分之一，因此就需要由局部连接(Local Connected Layer)，仅在局部区域范围内产生神经元连接，能够有效地减少参数量。
根据卷积操作的作用范围可以分为全卷积(Global Convolution)和局部卷积(Local Convolution)。实际上这里所说的全卷积就是标准卷积，即在整个输入特征维度范围内采用相同的卷积核参数进行运算，全局共享参数的连接方式可以使神经元之间的连接参数大大减少;
局部卷积又叫平铺卷积(Tiled Convolution)或非共享卷积(Unshared Convolution)，是局部连接与全卷积的折衷。


原文链接：https://blog.csdn.net/ys1305/article/details/99302943

以下内容转自：

深度学习——全连接，局部感知，权值共享，卷积输入输出的个人理解_simple丨li的博客-CSDN博客_局部感知

首先理解：
1、全连接层1：（输入为卷积）
        全连接和普通神经元类似，输出的每一个神经元都与输入的每一个像素点相连， 把多维向量转化为1维向量 。
           例如前一层的卷积输出50个feature map（图片大小为4X4），全连接层输出的是500个神经元（输出500个数字），则每一个神经元对应4X4X50=800个参数（卷积操作输出一个数字），这一层全连接层和总共有800X500=400000个参数。
        理解：如下图所示，X1，X2就是前面的输入的50X4X4个像素值，Y1,Y2就是输出的500个一维值，其中的参数个数就是V11,V21,V12,V22所有的参数个数总和。

2、全连接层2：（输入为全连接层）
        如上所示，上述全连接层输入为500个数字，若本层输出为10个神经元（10个数字），每个神经元都对应500个参数，则总共500X10=5000个参数

3、局部感知：
        重要性：若每一个神经元都像全连接一样，则需要的参数太多了，因此采用局部感知的方法。
        每一个神经元只需要感知图像中的局部信息，然后在更高层次进行信息组合就可以得到全局信息。
        例如有10个10X10的卷积核，每一个卷积核对图像进行局部感知可以理解为提取图像的轮廓，光暗等信息。有10个卷积核代表了10种特征。
        其中有多少个参数呢？参数只和输出神经元个数和卷积核大小有关，例如上述的参数有：10（featrue map）X10X10（卷积核大小）=1000个参数，这一层卷积层就只有1000个参数。

4、权值共享：
        权值共享实际上就是局部感知的部分，当用10X10的卷积核（共包含100个参数）去卷积整张图的时候，生成的feature map的每一个像素值都是由这个卷积核产生的，这就是权值共享。

5、卷积的输入输出理解：
        输入单通道图片层时的理解：对于输入图片为32X32的图片，卷积核大小为5X5，卷积核个数为6，步幅（ Stride）为1，边界扩充（ Padding）为0，公式为： （Input_H + 2*Padding - 卷积核H）/ Stride +1 ，（宽度公式同理） 这里（32+2*0-5）/1 + 1 = 28 ，所以输出的featrue map 大小为28X28 ， 总共6个feature map，代表6种特征。

        输入是多通道图片时（多feature map）的理解：下图展示了在四个通道上的卷积操作，有两个卷积核，生成两个通道。其中需要注意的是，四个通道上每个通道对应一个卷积核，先将w2忽略，只看w1，那么在w1的某位置（i,j）处的值，是由四个通道上（i,j）处的卷积结果相加，最后得到两个feature map， 即输出层的卷积核核个数为 feature map 的个数。
        下图参数个数：4×2×2×2 = 32个参数，其中4表示4个通道，第一个2表示生成2个通道，最后的2×2表示卷积核大小。
        

再形象理解多通道卷积：

上图是一个输入是W*H*6(6为通道数理解为厚度，W*H为侧边多边形)，经过一个1*1*6的卷积，将会得到W*H的一个feature map（可以理解为红色的矩形所经过的所有参数进行叠加，得到一个数字），利用5个这样1*1*6的卷积核进行卷积，将得到5个feature map，其参数个数为5*1*1*6 = 30个。
————————————————
版权声明：本文为CSDN博主「simple丨li」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010799383/article/details/79235456

文章来源: blog.csdn.net，作者：AI视觉网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/124086623