建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

可爱又积极

发帖: 260粉丝: 19

发消息 + 关注

更新于2021年04月07日 17:17:55 164 3
直达本楼层的链接
楼主
显示全部楼层
[其他] Deformable DETR

DETR 提出在目标检测方法中去除人为组件,也可保持优异性能。但由于 Transformer 注意力模块只能有限地处理图像特征图,它的收敛速度就比较慢,特征空间分辨率有限。为了缓解这些问题,作者提出了 Deformable DETR,其注意力模块只会关注目标框周围少量的关键采样点。Deformable DETR 能够取得比 DETR 更优异的性能(尤其在小物体上),训练 epochs 要少 10 × 10\times 10×倍。在 COCO 基准上大量的实验证明了该方法的有效性。代码位于: https://github.com/fundamentalvision/Deformable-DETR。

Introduction

目前的目标检测器都使用了许多人为组件,比如 anchor 生成、基于规则的训练目标分配机制、NMS 后处理等。它们都不是完全端到端的。最近 Carion 等人提出了 DETR 来去除人为组件,第一次构建了一个完全端到端的目标检测器,取得了优异的表现。DETR 利用一个简单的结构,将 CNN 和 Transformer 编码器-解码器结合起来使用。他们利用 Transformer 强大而通用的关系建模能力,在正确设计的训练信号指导下,代替人为规则。

尽管 DETR 的设计很有意思,而且表现不错,但是也有几个问题:(1) 需要更长的训练时间来收敛。例如,在 COCO 基准上,DETR 需要500个 epochs 才能收敛,要比 Faster R-CNN 慢了10-20倍。(2) DETR 对小目标检测表现相对较差。当前的目标检测器通常使用多尺度特征,从高分辨率特征图上可以检测小目标。而对 DETR 来说,高分辨率特征图意味着高复杂度。这些问题主要可以归结为 Transformer 缺乏处理图像特征图的组件。在初始化时,注意力模块对特征图上的所有像素点分配几乎相同的注意力权重。长训练时间对于注意力权重的学习是非常必要的,从而能关注到稀疏而有价值的位置。另一方面,Transformer 编码器的注意力权重的计算,相对于像素个数来说是平方计算的。因此,要处理高分辨率特征图,其计算量是非常高的,内存复杂度也是非常高的。

在图像领域,deformable 卷积是一个强大而高效的机制,来处理稀疏空间位置。它天然地避免了上述了问题。而它缺乏元素间关系建模的机制,这是 DETR 成功的关键。

本文中作者提出了 Deformable DETR,加快 DETR 的收敛速度,并降低高复杂度问题。它将 deformable 卷积的最佳稀疏空间采样方法和 Transformer 的关系建模能力结合起来。作者提出了 deformable 注意力模块,对所有的特征图像素点进行预筛,关注到很少的采样位置。该模块能够天然地扩展到聚合多尺度特征,无需 FPN 的帮助。在 Deformable DETR 中,作者使用了(多尺度)deformable 注意力模块替换 Transformer 注意力模块,来处理特征图,如图1所示。


image.png

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

初学者7000

发帖: 249粉丝: 3

发消息 + 关注

发表于2021年04月07日 21:06:18
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

yyy7124

发帖: 162粉丝: 3

发消息 + 关注

发表于2021年04月08日 09:23:41
直达本楼层的链接
板凳
显示全部楼层

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

望闻问切ice

发帖: 516粉丝: 8

级别 : 版主

发消息 + 关注

发表于2021年04月08日 17:51:01
直达本楼层的链接
地板
显示全部楼层

感谢分享,学到了

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200