CutLER:一种用于无监督目标检测和实例分割的方法

举报
Hint 发表于 2023/07/28 15:54:27 2023/07/28
【摘要】 目标检测和实例分割是两个重要的计算机视觉任务,然而这方面的无监督方法比较罕见,因为难以低成本的获取伪标注或有效的自监督手段。本文CutLER[1]提出了MaskCut方法来生成图片中多个目标的粗糙的掩膜,并设计一个鲁棒的损失函数让检测器从这些掩膜中有效的进行学习。相较于以前的工作,该方法简洁且适配不同的检测模型结构,在各个评测数据集上取得了优异的检测效果。

        目标检测是计算机视觉中的一种重要任务,使AI系统感知、推理、理解目标。训练定位模型需要特别的标注,比如目标的框、掩膜、定位点等。本文的工作研究了无监督的目标检测和实例分割,不使用人工标注。首先提出了MaskCut方法,可以自动的生成初始的粗糙掩膜,然后提出一种简单损失函数来帮助检测出MaskCut遗漏的目标。最后发现预测出的掩膜比初始的掩膜还要精细,因此可以迭代的训练检测器,进一步优化。


        该方法的总体框架如上图所示,该模型首先使用了DINO[2]的自监督特征来生成二值掩膜,结合了Normalizes Cuts技术,改善了该技术中只能生成单个前景目标掩膜的缺陷,具体见公式2、3。这样就获得了一张图片中多个前景目标的粗糙掩膜。

        然而在标准的检测训练损失函数中,会惩罚预测区域和ground truth区域不重叠的位置。这限制了检测器去发现新的目标,所以作者提出了一个新的损失函数,当预测和粗糙掩膜的IoU超过一定阈值时,该预测才参与loss的计算。最后作者采用了多轮次的迭代训练,进一步提升了模型的性能。

        作者在多个数据集上进行实验,从以下的实验结果来看,该方法的性能在Zero-shot任务中达到SOTA效果,相比其他无监督方法提升效果显著,作者也证明了各个创新点的有效性。



可视化效果:

   

[1] Wang X, Girdhar R, Yu S X, et al. Cut and learn for unsupervised object detection and instance segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 3124-3134.

[2] Mathilde Caron, Hugo Touvron, Ishan Misra, Herv ́e J ́egou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. Emerging properties in self-supervised vision transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9650–9660, 2021. 1, 2, 3, 4, 6, 12



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。