[NAS论文][NAS目标检测]OPANAS: One-Shot Path Aggregation Network

苏道 发表于 2021/11/27 16:24:37 2021/11/27
【摘要】 近年来NAS在分类上取得了优异的成绩,也促使研究人员们更多地把目光放在了目标检测上,一般目标检测CNN网络包括backbone、FPN(特征金字塔)、和head。三种都可以用NAS进行搜索,本文专注FPNs的搜索。

作者来自 Wangxuan Institute of Computer Technology, Peking University Anyvision Department of Computer Science, Stony Brook University

论文地址:https://arxiv.org/abs/2103.04507

论文源码: https://github.com/VDIGPKU/OPANAS

一、概览


      近年来NAS在分类上取得了优异的成绩,也促使研究人员们更多地把目光放在了目标检测上,一般目标检测CNN网络包括backbone、FPN(特征金字塔)、和head。三种都可以用NAS进行搜索,本文专注FPNs的搜索。

      特征金字塔FPN的每一层都对应着原始图像中的一个特定比例。然而,高feature具有更多的语义,而低features则具有更多的内容描述性。这种语义缺口无法为多尺度视觉识别任务(如目标检测和分割)提供强大的特征。为了消除这种差异,人们提出了不同的特征融合策略。 

      以往的FPN是NAS搜素的空间可选择op封顶三种,包括Top-Down【高层信息流向底层】、Bottom-up【底层信息流向高层】、Fusing-splitting【融合特征层再分离,】、Scale-equalizing、skip-connect其中三种,而本文来个大杂烩,一次过来6种,除了上述提的之外再一个None

     本文的方法的迁移性很不错,通过在COCO上搜索架构,我们的方法为COCO提高了3:0%的性能mAP,VOC的mAP分别为2:8%,当在VOC数据集上做搜索,我们的方法提高了3:0%的VOC mAP, 2:9%的COCO mAP性能,是SOTA。

二、训练方法


       1、网络的构建类似SPOS的超网络,但是SPOS是层于层之间是顺序链接,而OPANAS选择的是稠密链接的方式,也就是任意层和之前的所有层都可以相连,具体看下图:

1.png

2、在超网络训练阶段,会采用FairNAS的严格公平采样的采样方式采样4种有参数的更新的op(Top-Down【高层信息流向底层】、Bottom-up【底层信息流向高层】、Fusing-splitting【融合特征层再分离,】、Scale-equalizing),而只有在之后的EA搜索过程中,剩下2种无参数的op(skip connection 和None)才会带进来一起做搜索【个人怀疑这样训练和搜索会产生GAP】

2.png

4、因为采用了稠密链接的方法,存在训练的不稳定性,为了加快收敛,对于每一条稠密链接的边,提出了edge importance weight 这个超参数,所以对于第j个node,他的信息会和前面所有node都线性加权相关:

3.png

三、实验结果


1、从下表可以看出在COCO测试集上FPS和mAP都有所提升,表中的neck代表FPN,也就是说和下表这些SOTA方法的代表性结果相比,OPANAS方法在参数量、计算复杂度、精度和推理速度等方面都取得了更好或极具竞争力的结果,并且只要4 GPU Days

4.png

2、对RetinaNet、Faster-RCNN/Cascade RCNN这类的检测器的适配情况如下表:RetinaNet改善2.3% mAP,减少13% FLOPs,Cascade RCNN改善2.5% mAP,减少27%参数量。虽然FLOPs数下去了但是FPS并没有提升

5.png


四、消融实验


1、与单一的op信息路径的比较COCO minival上的FPN架构的性能,总体看来在Flops、参数量和mAP上有明显优势:

6.png

2、edge importrance weight这个参数是否有效?看下图

7.png

3、超网络能否提供稳定的和真实架构训练相关性?看下图可以发现Fair的采样方式、和采用edge importrance weight的方法可以提高相关系数【和15个独立训练的架构对比】,但是好像对搜到一个好的架构帮助不是很大?

8.png

4、和主流的NAS方法相比,本文的OPANAS是否有优势?

9.png


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。