前期的文章我们介绍了DETR模型，我们知道DETR模型首先使用CNN卷积神经网络搜集图片的核心特征点，然后把这些特征点整合起来，通过embedding方法，把特征图片转换到特征向量空间。然后根据标准Transformer模型的编码器与解码器进行注意力机制的计算，最后把计算后的数据进行图片对象的分类，并根据检测到的位置信息，提供对象box区域，方便我们画图。DETR 通过利用标准的Transformer架构来执行传统上特定于对象检测的操作，从而简化了检测管道，优化了算法步骤，提高了检测效率。

但是DETR模型计算效率低，无法有效使用多尺度特征信息。为了解决以上的问题，Focus-DETR利用双重注意力机制重建编码器，且使用了一个跨多尺度特征的自上而下分数调制的前景标记选择器（FTS），大大提高了模型的计算效率。

Focus-DETR

Focus-DETR 包括主干网络、Transformer 编码器和 Transformer 解码器。 Focus-DETR设计了一个基于跨多尺度特征的自上而下分数调制的前景标记选择器（FTS）。Focus-DETR，它是类 DETR 模型的改进版本。 其提出了一种关注更多信息标记的新方法，旨在在计算效率和模型准确性之间取得更好的平衡。

Focus-DETR决了类 DETR 模型中计算效率低下的问题，在该模型中，所有token都受到平等对待，没有歧视，避免导致冗余的计算负担。 以前的稀疏化策略试图通过关注信息标记的子集来减轻计算负担，但这些方法通常依赖于不可靠的模型统计数据，并且可能会阻碍检测性能。

Focus-DETR重建了具有双重注意力的编码器，包括一个token评分机制，该机制考虑多尺度特征图中对象的定位和类别语义信息。与相同设置下最先进的Sparse DETR 检测器相比，Focus-DETR 实现了相当的复杂性，同时提高了模型的准确性（50.4AP，在 COCO 上+2.2）。

Focus-DETR由主干网、具有双重注意力机制的编码器和解码器组成。 主干网可以配备 ResNet或 Swin Transformer 为了利用主干网的多尺度特征 {fl}Ll=1 (L = 4)，Focus-DETR获得了三个不同尺度的特征图 {f1, f2, f3} （即 1 /8、1/16、1/32尺寸特征）并对 f3 进行下采样以获得 f4（即 1/64尺寸特征）。

DETR模型无法有效利用多尺度特征信息，而Focus-DETR构建了具有自上而下分数调制的 FTS 模块，来充分使用多尺度特征信息，提高模型的运行效率。 Focus-DETR首先设计了一个基于多层感知器（MLP）的评分模块来预测每个特征图中的前景特征分数。 考虑到高级特征图比具有更高分辨率的低级特征包含更丰富的语义，Focus-DETR利用高级语义的前景特征作为补充信息来调制相邻低级语义的特征图。

与其他对象检测或者对象分割模型相比，Focus-DETR有效提高了模型的精度与准确性。

与其他DETR的模型相比，Focus-DETR以更少的GFLOPs实现了更高的AP。 此外，使用在 ImageNet上预训练的 Swin Transformer 作为主干，Focus-DETR还取得了出色的性能。

体验Focus-DETR模型，我们需要基于detrex与安装detectron2对象检测模型，然后下载预训练模型。模型下载完成后，我们就可以使用demo脚本来进行对象检测了。

本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除