《深度学习：卷积神经网络从入门到精通》——2.9　上下采样运算

2.9　上下采样运算

在卷积神经网络中，还可能涉及两种采样运算：上采样和下采样。上采样与下采样之间存在着某种对应关系。不同的下采样运算，相应的上采样运算一般是不同的。常用的下采样有两种：平均下采样（average dowmsampling，或mean downsampling）和最大下采样（max downsampling）。这两种下采样又分别称为平均池化和最大池化。相应的上采样称为平均上采样和最大上采样。

对一个矩阵A进行下采样，首先要对它分块。标准的分块操作是不重叠的，理论上分块也可以是重叠的，但分块的数目相对较多。如果分块不重叠且每块的大小为λ×τ，则其中的第ij个块可以表示为

（2.78）

其中，(i?-?1)·λ + 1≤s≤i·λ,(j?-?1)·τ + 1≤t≤j·τ。

对??的平均下采样定义为

（2.79）

对??的最大下采样定义为

?（2.80）

如果用大小为λ×τ的块对矩阵A进行不重叠平均下采样，结果定义为

（2.81）

相应地，对矩阵Davg进行倍数为λ×τ的不重叠平均上采样，结果定义为

（2.82）

其中，1λ×τ是一个元素全为1的矩阵，?代表克罗内克积。

如果用大小为λ×τ的块对矩阵A进行不重叠最大下采样，结果定义为

（2.83）

相应地，对矩阵进行倍数为λ×τ的不重叠最大上采样，结果定义为一个分块矩阵，即

（2.84）

其中，所有Uij =(ukl)λ×μ都是大小为λ×τ的矩阵，每个元素的定义如下：

（2.85）

根据上述定义，如果矩阵?，那么其2×2不重叠平均下采样和最大下采样分别为

（2.86）

相应的平均上采样和最大上采样分别为

（2.87）