[NAS论文]Data-Free Neural Architecture Search via Recursive Label

苏道 发表于 2021/12/09 15:16:44 2021/12/09
【摘要】 Google推出无数据的神经架构搜索Data-Free Neural Architecture Search,宣布进入data-free nas时代?

前言

本文的主要挑战是,如何生成具有(i)丰富的语义信息,(ii)足够的图像多样性,以及(iii)与原始数据的GAP最小的数据去做神经架构搜索。


主要策略:

1、软标签。对于某个类,用梯度下降合成图像。但是观察到对从one-hot标签合成的数据进行NAS会导致过拟合和NAS搜索的模型不能推广回原始训练数据用,这主要是因为one-hot标签中只具备类的值,但是不包含不同类之间的关系,导致生成数据无法捕获到原始训练数据中类与类之间的完整语义关系,举个例子,如果一个装满咖啡的杯子,在原始图像中有50%的置信度分到‘咖啡杯’,有30%的置信度分到‘杯子’,而生成的图像就会90+%分到‘咖啡杯’,已经极少包含了分到‘杯子的’可能。

故采用软标签替代hard-label的方法去捕捉类间潜藏的关系,具体做法如下图,一开始第一个batch的图片先用用户提供的模型[pre-trained model]的输出的one-hot值作为标签,但是从第二个生成的batch图片开始用,用上一步生成的batch的图像通过pre-trained model的值作为标签来更新这一批的batch的图像


2、部分区域更新。如要生成224*224的图像,先random noise一个256*256的图像,在生成图片的每一次迭代中都random crop出224*224,只更新这部分涵盖的区域,256中不被这个224涵盖的区域的数值将不被更新,下一个iteration将会重新random crop。这导致图像生成期间使用了随机裁剪数据增强,这大大增加了可训练数据量,增强了图像多样性。


【请关注下图的蓝色圈圈部分】

1.JPG


实验结果


和SPOS对比

利用生成的图片和spos的方法做NAS搜索结果一点都不输于在原始数据集imagenet上搜索到的结果

2.PNG


和Proxyless NAS对比

3.PNG

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。