一、 问题描述

  在目标检测任务中，一张图片的的不同目标框的形状是多种多样的，目标框的高宽比就是描述这种现象的指标，如果数据集目标框的高宽比分布范围越广，那么表示该数据集目标框形状越不均衡，检测模型对于具有不同宽高比数据集的检测效果是不一样的，那么如果降低模型对于目标框宽高比的敏感程度呢，下面对相关的技术进行介绍。下图是一张图片中的目标框高宽比举例，可以看到，该图片中目标框的高宽比总共有三个数值。

图1 目标框高宽比举例

二、解决方法

  在目标检测任务中，FPN在one stage检测模型中应用比较广泛，FPN通过特征融合，将不同尺度的feature map进行concat，然后进行后面的类别以及目标框的回归，已经成为检测模型中的一种标配手段。在EfficientDet论文中，提出了一种FPN block repeats的手段，即将之前的FPN作为一个基本单元，进行重复叠加，来进行特征提取层的融合，下图是EfficientDet的BiFPN基本单元，主要是对FPN进行适当的修改。

图2 BiFPN结构示意图

  下图是对BiFPN进行了重复叠加，即FPN block repeats，可以看到特征提取层更深。

图3 EfficientDet的FPN block repeats

  FPN block repeats不仅适用于BiFPN，也可应用于其他的FPN结构，例如PANet的FPN，下图是将FPN block repeats技术应用在了PANet上面。

图4 FPN block repeats的构造示意图，其中，a图表示PANet的基本单元结构，b图表示带有FPN block repeats的网络

三、实验验证

  在开源数据集fruit上面进行实验，使用FPN block repeats之前，对目标框的高宽比敏感度分析如下所示，可以看到Apple和banana的宽高比敏感度分别是0.0757和0.4481。

图5 使用FPN block repeats之前，检测模型对目标框高宽比敏感度分析

  使用FPN block repeats之后，对目标框的高宽比敏感度进行分析，如下所示，可以看到，Apple的目标框高宽比敏感度从原来的0.0757降低到0.0667，banana的目标框高宽比敏感度从原来的0.4481降低到0.4091。

图6 使用FPN block repeats之后，检测模型对目标框高宽比敏感度分析

  可以看到，使用FPN block repeats之后，目标框的高宽比敏感度得到了比较大的改善

四、用户建议

  在模型推理结果中，如果检测出来的类别对于目标框高宽比的敏感程度比较大，推荐在训练的时候，使用带有FPN block repeats的检测模型进行优化训练。

参考链接：

1. EfficientDet: Scalable and Efficient Object Detection（https://arxiv.org/abs/1911.09070）