小样本学习【一】论文分享：Few-Shot Learning via Embedding Adaptation

论文：Han-Jia Ye, Hexiang Hu, De-Chuan Zhan, Fei Sha. Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions. CVPR, 2020

        在深度学习时代，基于少量数据学习视觉模型具有非常强大的挑战性。目前大部分小样本学习方法都是基于已知类数据学习视觉模型，然后迁移到新的小样本数据中。这类方法学习的是一个通用模型，没有针对目标任务进行特定的学习，因此在是配到不同目标任务上表现不佳。这篇文章提出了基于集合学习的方法，通过构建集合内部不同任务之间的相关性，学习基于任务的空间映射，从而大大提高在目标任务上识别的准确性。这篇文章的创新点主要包含三个方面：

（1）学习基于任务的模型，通过集合自适应方法对通用模型进行迁移，从而提高在目标任务上的性能。

（2）本文尝试了不同的集合自适应方法，并进行性能评估，最终确定基于transformer的效果最好。

（3）基于模型自适应的方法在不同的小样本学习任务中，表现出了优越的性能。

        本文的主要框架下图所示。传统的小样本学习方法(a)主要学习图像的特征映射，让后基于最近邻方法对测试图像进行分类。由于该特征提取模型是通用的，没有针对目标任务进行特定的设计，在应用到不同新任务过程中可能表现不佳。本文提出的方法(b)主要学习不同分类任务之间的相关性，通过集合自适应方法，对特征提取模型进行适配，学习与目标任务相关的特征，使其适应到不同的分类任务中。

        本文在两个常用的小样本学习测试集上进行了实验，MiniImageNet 和TieredImageNet。其实验结果如下表所示。通过对比可以发现，基于模型自适应的方法，相比于通用的度量模型方法表现出了很好的优越性。同时，基于transformer的方法在所有的自适应方法中表现效果最好。