前言

本文的主要挑战是，如何生成具有（i）丰富的语义信息，（ii）足够的图像多样性，以及（iii）与原始数据的GAP最小的数据去做神经架构搜索。

主要策略：

1、软标签。对于某个类，用梯度下降合成图像。但是观察到对从one-hot标签合成的数据进行NAS会导致过拟合和NAS搜索的模型不能推广回原始训练数据用，这主要是因为one-hot标签中只具备类的值，但是不包含不同类之间的关系，导致生成数据无法捕获到原始训练数据中类与类之间的完整语义关系，举个例子，如果一个装满咖啡的杯子，在原始图像中有50%的置信度分到‘咖啡杯’，有30%的置信度分到‘杯子’，而生成的图像就会90+%分到‘咖啡杯’，已经极少包含了分到‘杯子的’可能。

故采用软标签替代hard-label的方法去捕捉类间潜藏的关系，具体做法如下图，一开始第一个batch的图片先用用户提供的模型[pre-trained model]的输出的one-hot值作为标签，但是从第二个生成的batch图片开始用，用上一步生成的batch的图像通过pre-trained model的值作为标签来更新这一批的batch的图像。

2、部分区域更新。如要生成224*224的图像，先random noise一个256*256的图像，在生成图片的每一次迭代中都random crop出224*224，只更新这部分涵盖的区域，256中不被这个224涵盖的区域的数值将不被更新，下一个iteration将会重新random crop。这导致图像生成期间使用了随机裁剪数据增强，这大大增加了可训练数据量，增强了图像多样性。

【请关注下图的蓝色圈圈部分】

实验结果

和SPOS对比

利用生成的图片和spos的方法做NAS搜索结果一点都不输于在原始数据集imagenet上搜索到的结果

和Proxyless NAS对比