DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术
【摘要】 DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术
目录
im2col技术
im2col简介
im2col代码实现
im2col技术
im2col简介
1、im2col 的示意图
2、将滤波器的应用区域从头开始依次横向展开为1列
3、卷积运算的滤波器处理的细节：将滤波器纵向...
DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术
目录
im2col技术
im2col简介
1、im2col 的示意图
2、将滤波器的应用区域从头开始依次横向展开为1列
3、卷积运算的滤波器处理的细节：将滤波器纵向展开为1 列，并计算和im2col展开的数据的矩阵乘积，最后转换（reshape）为输出数据的大小
4、对输入数据展开池化的应用区域（2×2 的池化的例子）
池化的应用区域按通道单独展开
im2col代码实现
1、im2col技术应用在卷积层、池化层内
-
#CNN中各层间传递的数据是4维数据
-
-
x = np.random.rand(10, 1, 28, 28) #随机生成数据，对应10个高为28、长为28、通道为1的数据
-
print(x.shape)
-
print(x[0].shape) #访问第1个数据
-
print(x[0,0] ) #或者x[0][0],访问第1个数据的第1个通道的空间数据，即(1, 28, 28)
-
-
-
#将这个im2col函数作为黑盒(不关心内部实现)使用：是一个10行左右的简单函数，im2col这一便捷函数具有以下接口。
-
-
x1 = np.random.rand(1, 3, 7, 7) # 批大小为1、通道为3的7*7的数据
-
col1 = im2col(x1, 5, 5, stride=1, pad=0) # im2col会考虑滤波器大小、步幅、填充，将输入数据展开为2维数组。第2维的元素个数均为75。这是滤波器(通道为3、大小为5*5)的元素个数的总和。
-
print(col1.shape) # 批大小为1时，im2col的结果是(9, 75)
-
-
x2 = np.random.rand(10, 3, 7, 7) # 10个数据
-
col2 = im2col(x2, 5, 5, stride=1, pad=0)
-
print(col2.shape) # 批大小为10，所以保存了10倍的数据，即(90, 75)。
-
-
-
-
-
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
-
"""
-
Parameters
-
----------
-
input_data : 由(数据量, 通道, 高, 长)的4维数组构成的输入数据
-
filter_h : 滤波器的高
-
filter_w : 滤波器的长
-
stride : 步幅
-
pad : 填充
-
-
Returns
-
-------
-
col : 2维数组
-
"""
-
N, C, H, W = input_data.shape
-
out_h = (H + 2*pad - filter_h)//stride + 1
-
out_w = (W + 2*pad - filter_w)//stride + 1
-
-
img = np.pad(input_data, [(0,0), (0,0), (pad, pad), (pad, pad)], 'constant')
-
col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))
-
-
for y in range(filter_h):
-
y_max = y + stride*out_h
-
for x in range(filter_w):
-
x_max = x + stride*out_w
-
col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]
-
-
col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N*out_h*out_w, -1)
-
return col
-
-
-
#卷积层的实现：使用im2col来实现卷积层，通过使用im2col进行展开，基本上可以像实现全连接层的Affine层一样来实现
-
#(1)、但需要注意，在进行卷积层的反向传播时，必须进行im2col的逆处理，调用col2im函数
-
class Convolution:
-
def __init__(self, W, b, stride=1, pad=0): #卷积层的初始化方法将滤波器(权重)、偏置、步幅、填充作为参数接收。
-
self.W = W
-
self.b = b
-
self.stride = stride
-
self.pad = pad
-
-
#forward方法：卷积层的反向传播的实现，思路和Affine层类似。
-
def forward(self, x):
-
FN, C, FH, FW = self.W.shape #滤波器是4维形状(FN, C, FH, FW)，即FilterNumber(滤波器数量)、Channel、FilterHeight、FilterWidth的缩写。
-
N, C, H, W = x.shape
-
out_h = int(1 + (H + 2*self.pad - FH) / self.stride)
-
out_w = int(1 + (W + 2*self.pad - FW) / self.stride)
-
col = im2col(x, FH, FW, self.stride, self.pad) #用im2col展开输入数据
-
col_W = self.W.reshape(FN, -1).T #滤波器的展开，用reshape将滤波器展开为2维数组，将各个滤波器的方块纵向展开为1列
-
#比如，(10, 3, 5, 5)形状的数组的元素个数共有750个，指定reshape(10,-1)后，就会转换成(10, 75)形状的数组。
-
out = np.dot(col, col_W) + self.b #计算展开后的矩阵的乘积。
-
out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)
-
#transpose方法：将输出大小转换为合适的形状。基于NumPy的transpose会更改多维数组的轴的顺序，它通过指定索引(编号)，更改轴的顺序。
-
#比如：(N,H,W,C)对应索引(0,1,2,3) → (N,C,H,W)对应索引(0,3,1,2)
-
return out
-
-
-
#池化层的实现
-
#(1)、池化层的实现和卷积层相同，都使用im2col展开输入数据。不过，池化的情况下，在通道方向上是独立的，这一点和卷积层不同，池化的应用区域按通道单独展开。
-
class Pooling:
-
def __init__(self, pool_h, pool_w, stride=1, pad=0):
-
self.pool_h = pool_h
-
self.pool_w = pool_w
-
self.stride = stride
-
self.pad = pad
-
-
def forward(self, x):
-
#池化层的forward方法：展开之后，只需对展开的矩阵求各行的最大值，并转换为合适的形状即可。通过将输入数据展开为容易进行池化的形状，后面的实现就会变得非常简单。
-
#思路：展开输入数据 → 求各行的最大值 → 转换为合适的输出大小。池化层的backward方法可参考ReLU层的实现中使用的max的反向传播
-
-
N, C, H, W = x.shape
-
out_h = int(1 + (H - self.pool_h) / self.stride)
-
out_w = int(1 + (W - self.pool_w) / self.stride)
-
# 展开(1)
-
col = im2col(x, self.pool_h, self.pool_w, self.stride, self.pad)
-
col = col.reshape(-1, self.pool_h*self.pool_w)
-
# 最大值(2)
-
out = np.max(col, axis=1) #np.max(x, axis=1)，就可以在输入x的第1 维的各个轴方向上求最大值。
-
# 转换(3)
-
out = out.reshape(N, out_h, out_w, C).transpose(0, 3, 1, 2)
-
return out
文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。
原文链接：yunyaniu.blog.csdn.net/article/details/88378670
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）