CondConv论文笔记

https://arxiv.org/pdf/1904.04971.pdf

       首先说一下条件计算：条件计算是构建一种动态的网络结构，每次推断的时候先有决策网络（模块）根据模型输入（甚至每一层的输入）推断出所要使用的网络部件，然后利用原始网络的一个子集完成实际推断。

       本文的核心思想是：由于不同的卷积核提取到的特征是不相同的，而不同的样本之间的特征是有差异的，所以设计了一种可以根据不同样本变化的自适应卷积核。即在卷积层设置多套卷积核，在推断时对这多套卷积核施加一个类似于SE的模块，对每个卷积核进行权重的学习，学习是依靠样本的，然后所有卷积核加起来，作为最终的卷积核，类似于多个专家共同决策。所以网络的参数量增加的很多，但实际前向花费的时间并没有增加多少。下图是它的结构图。

W为卷积核，x为输入，α= r(x)，R是待学习的权重参数

Table 1为ImageNet的结果，在最新的一些网络上还是有一定提升

Table 2是coco检测结果，采用的SSD十分老的网络，不知道在mask上面效果怎么样。

Table 3为不同的权重组合方式结果，使用Hidden（传统的SE）作用不明显。作者为了试验这个组合方式估计花了很久的时间。