Google提出了移动端模型MobileNet,其核心是采用了深度可分离卷积,其不仅可以降低模型计算复杂度,而且可以大大降低模型大小,适合应用在真实的移动端应用场景。这篇文章带你了解一下什么是普通卷积、分组卷积和深度分离卷积,以及如何计算参数量。
上面的图片展示了普通卷积和分组卷积的不同,下面我们通过具体的例子来看。
普通卷积
标准卷积运算量的计算公式:
FLOPs=(2×C0×K2−1)×H×W×C1
计算公式参考:深度学习之(经典)卷积层计算量以及参数量总结 (考虑有无bias,乘加情况) - 琴影 - 博客园 (cnblogs.com)
参数量计算公式:
K2×C0×C1
C0 :输入的通道。
K:卷积核大小。
H,W:输出 feature map的大小
C1:输出通道的大小。
bias=False,即不考虑偏置的情况有-1,有True时没有-1。
举例:
输入的尺寸是227×227×3,卷积核大小是11×11,输出是6,输出维度是55×55,
我们带入公式可以计算出
参数量:
112×3×6=2178
运算量:
2×3×112×55×55×6=13176900
分组卷积
分组卷积则是对输入feature map进行分组,然后每组分别卷积。
假设输入feature map的尺寸仍为
C0×H×W,输出feature map的数量为
C1个,如果设定要分成G个groups,则每组的输入feature map数量为
GC0,每组的输出feature map数量为
GC1,每个卷积核的尺寸为
GC0×K×K,卷积核的总数仍为
C1个,每组的卷积核数量为
GC1,卷积核只与其同组的输入map进行卷积,卷积核的总参数量为
N×GC0×K×K,总参数量减少为原来的
G1。
计算量公式:
[(2×K2×C0/g+1)×H×W×Co/g]×g
分组卷积的参数量为:
K∗K∗gC0∗gC1∗g
举例:
输入的尺寸是227×227×3,卷积核大小是11×11,输出是6,输出维度是55×55,group为3
我们带入公式可以计算出
参数量:
112×33×36×3=726
运算量:
[(2×112×3/3+1)×55×55×6/3]×3=2205225
深度可分离卷积(Depthwise separable conv)
设输入特征维度为
DF×DF×M,M为通道数,
Dk为卷积核大小,M为输入的通道数, N为输出的通道数,G为分组数。
当分组数量等于输入map数量,输出map数量也等于输入map数量,即M=N=G,N个卷积核每个尺寸为$D_{k}\times D_{k}\times 1 $时,Group Convolution就成了Depthwise Convolution。
逐点卷积就是把G组卷积用conv1x1拼接起来。如下图:
深度可分离卷积有深度卷积+逐点卷积。计算如下:
-
深度卷积:设输入特征维度为
DF×DF×M,M为通道数。卷积核的参数为
Dk×Dk×1×M。输出深度卷积后的特征维度为:
DF×DF×M。卷积时每个通道只对应一个卷积核(扫描深度为1),所以 FLOPs为:
M×DF×DF×DK×DK
-
逐点卷积:输入为深度卷积后的特征,维度为
DF×DF×M。卷积核参数为
1×1×M×N。输出维度为
DF×DF×N。卷积过程中对每个特征做
1×1的标准卷积, FLOPs为:
N×DF×DF×M
将上面两个参数量相加就是
Dk×Dk×M+M×N
所以深度可分离卷积参数量是标准卷积的
DK×DK×M×NDK×DK×M+M×N=N1+DK21
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
评论(0)