DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术

DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术

目录

im2col技术

im2col简介

im2col代码实现

im2col技术

im2col简介

1、im2col 的示意图

2、将滤波器的应用区域从头开始依次横向展开为1列

3、卷积运算的滤波器处理的细节：将滤波器纵向展开为1 列，并计算和im2col展开的数据的矩阵乘积，最后转换（reshape）为输出数据的大小

4、对输入数据展开池化的应用区域（2×2 的池化的例子）
池化的应用区域按通道单独展开

im2col代码实现

1、im2col技术应用在卷积层、池化层内

      #CNN中各层间传递的数据是4维数据
      x = np.random.rand(10, 1, 28, 28) #随机生成数据，对应10个高为28、长为28、通道为1的数据
      print(x.shape)
      print(x[0].shape)   #访问第1个数据 
      print(x[0,0] ) #或者x[0][0],访问第1个数据的第1个通道的空间数据，即(1, 28, 28)
      #将这个im2col函数作为黑盒(不关心内部实现)使用：是一个10行左右的简单函数，im2col这一便捷函数具有以下接口。
      x1 = np.random.rand(1, 3, 7, 7) # 批大小为1、通道为3的7*7的数据
      col1 = im2col(x1, 5, 5, stride=1, pad=0)  # im2col会考虑滤波器大小、步幅、填充，将输入数据展开为2维数组。第2维的元素个数均为75。这是滤波器(通道为3、大小为5*5)的元素个数的总和。
      print(col1.shape) # 批大小为1时，im2col的结果是(9, 75)
      x2 = np.random.rand(10, 3, 7, 7) # 10个数据
      col2 = im2col(x2, 5, 5, stride=1, pad=0)
      print(col2.shape) # 批大小为10，所以保存了10倍的数据，即(90, 75)。
      def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
      """
       Parameters
       ----------
       input_data : 由(数据量, 通道, 高, 长)的4维数组构成的输入数据
       filter_h : 滤波器的高
       filter_w : 滤波器的长
       stride : 步幅
       pad : 填充
       Returns
       -------
       col : 2维数组
       """
       N, C, H, W = input_data.shape
       out_h = (H + 2*pad - filter_h)//stride + 1
       out_w = (W + 2*pad - filter_w)//stride + 1
       img = np.pad(input_data, [(0,0), (0,0), (pad, pad), (pad, pad)], 'constant')
       col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))
      for y in range(filter_h):
       y_max = y + stride*out_h
      for x in range(filter_w):
       x_max = x + stride*out_w
       col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]
       col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N*out_h*out_w, -1)
      return col
      #卷积层的实现：使用im2col来实现卷积层，通过使用im2col进行展开，基本上可以像实现全连接层的Affine层一样来实现
      #(1)、但需要注意，在进行卷积层的反向传播时，必须进行im2col的逆处理，调用col2im函数
      class Convolution:
      def __init__(self, W, b, stride=1, pad=0): #卷积层的初始化方法将滤波器(权重)、偏置、步幅、填充作为参数接收。
       self.W = W
       self.b = b
       self.stride = stride
       self.pad = pad
      #forward方法：卷积层的反向传播的实现，思路和Affine层类似。
      def forward(self, x):
       FN, C, FH, FW = self.W.shape  #滤波器是4维形状(FN, C, FH, FW)，即FilterNumber(滤波器数量)、Channel、FilterHeight、FilterWidth的缩写。
       N, C, H, W = x.shape
       out_h = int(1 + (H + 2*self.pad - FH) / self.stride)
       out_w = int(1 + (W + 2*self.pad - FW) / self.stride)
       col = im2col(x, FH, FW, self.stride, self.pad) #用im2col展开输入数据
       col_W = self.W.reshape(FN, -1).T #滤波器的展开，用reshape将滤波器展开为2维数组，将各个滤波器的方块纵向展开为1列
      #比如，(10, 3, 5, 5)形状的数组的元素个数共有750个，指定reshape(10,-1)后，就会转换成(10, 75)形状的数组。
       out = np.dot(col, col_W) + self.b #计算展开后的矩阵的乘积。
       out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)
      #transpose方法：将输出大小转换为合适的形状。基于NumPy的transpose会更改多维数组的轴的顺序，它通过指定索引(编号)，更改轴的顺序。
      #比如：(N,H,W,C)对应索引(0,1,2,3) → (N,C,H,W)对应索引(0,3,1,2)
      return out
      #池化层的实现
      #(1)、池化层的实现和卷积层相同，都使用im2col展开输入数据。不过，池化的情况下，在通道方向上是独立的，这一点和卷积层不同，池化的应用区域按通道单独展开。
      class Pooling:
      def __init__(self, pool_h, pool_w, stride=1, pad=0):
       self.pool_h = pool_h
       self.pool_w = pool_w
       self.stride = stride
       self.pad = pad
      def forward(self, x):
      #池化层的forward方法：展开之后，只需对展开的矩阵求各行的最大值，并转换为合适的形状即可。通过将输入数据展开为容易进行池化的形状，后面的实现就会变得非常简单。
      #思路：展开输入数据 → 求各行的最大值 → 转换为合适的输出大小。池化层的backward方法可参考ReLU层的实现中使用的max的反向传播
       N, C, H, W = x.shape
       out_h = int(1 + (H - self.pool_h) / self.stride)
       out_w = int(1 + (W - self.pool_w) / self.stride)
      # 展开(1)
       col = im2col(x, self.pool_h, self.pool_w, self.stride, self.pad)
       col = col.reshape(-1, self.pool_h*self.pool_w)
      # 最大值(2)
       out = np.max(col, axis=1)  #np.max(x, axis=1)，就可以在输入x的第1 维的各个轴方向上求最大值。
      # 转换(3)
       out = out.reshape(N, out_h, out_w, C).transpose(0, 3, 1, 2)
      return out
  
 

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/88378670