Panoptic FPN 全景分割

摘要：

    当下用于语义分割和实例分割的方法使用的是完全不同的网络，二者之间没有很好的共享计算，通过赋予Mask R-CNN一个使用特征金字塔网络的语义分割分支来在架构层面将这两种方法结合成一个单一网络来同时完成实例分割和语义分割的任务。

模型简介：

    Panoptic FPN的目标是设计一个相对简单的单一网络来进行全景分割，同时进行实例分割和语义分割任务。对于语义分割任务来说，将空洞卷积/扩张卷积或多尺度特征融合用在语义分割的Dcoder中是目前非常有效的方法（参考Deeplab v3 Plus、DFANet）；对于实例分割来说，带有特征金字网络的基于预选区域提议的Mask R-CNN十分流行。Panoptic FPN整合了两种网络，保持FPN主干网络不变，在这个主干的基础上新增一个与实例分割的分支并行的分支进行语义分割。

        论文提出，单独对每个任务分支（实例分割/语义分割）进行训练会得到比较好的结果，实例分割效果和Mask R-CNN相同，语义分割的IOU与DeepLabV3+相近。论文中提到，训练单个FPN来同时解决两个问题和训练两个FPNs的效果相同，但前者减少了大量的计算量。Panoptic FPN在Mask R-CNN上加入了一个轻量级的语义分割分支，用于分割stuff。结构如下：

预测效果：