端到端目标检测：可学习提议的稀疏R-CNN

Sparse R-CNN：可学习提议的端到端目标检测

近年来，基于区域的卷积神经网络（CNN）在目标检测领域取得了显著进展。然而，大多数现有方法严重依赖手工制作的候选区域，这限制了它们在复杂场景中的性能。本文提出了一种新的目标检测框架Sparse R-CNN，该框架可以端到端学习目标提议和分类。具体来说，Sparse R-CNN使用一个轻量级的卷积网络生成稀疏的候选区域，然后使用一个ROI池层将候选区域映射到固定大小的特征图上。随后，这些特征图被输入到一个全连接网络，用于目标分类和边框回归。

与传统的候选区域生成器（如选择性搜索）相比，Sparse R-CNN学习的目标提议在质量上更高，因为它们是针对特定图像和任务量身定制的。此外，Sparse R-CNN的端到端训练过程允许所有模块联合优化，从而提高了整体检测精度。

我们在PASCAL VOC和MS COCO数据集上对Sparse R-CNN进行了评估。结果表明，Sparse R-CNN在目标检测任务上优于最先进的方法，同时计算成本较低。

介绍

目标检测是一项计算机视觉任务，涉及在图像中定位和识别对象。近年来，基于区域的卷积神经网络（CNN）在目标检测领域取得了显著进展。然而，大多数现有方法严重依赖手工制作的候选区域，这限制了它们在复杂场景中的性能。

本文提出了一种新的目标检测框架Sparse R-CNN，该框架可以端到端学习目标提议和分类。具体来说，Sparse R-CNN使用一个轻量级的卷积网络生成稀疏的候选区域，然后使用一个ROI池层将候选区域映射到固定大小的特征图上。随后，这些特征图被输入到一个全连接网络，用于目标分类和边框回归。

与传统的候选区域生成器（如选择性搜索）相比，Sparse R-CNN学习的目标提议在质量上更高，因为它们是针对特定图像和任务量身定制的。此外，Sparse R-CNN的端到端训练过程允许所有模块联合优化，从而提高了整体检测精度。

方法

Sparse R-CNN框架由三个主要模块组成：稀疏候选区域生成网络、ROI池层和分类器。

稀疏候选区域生成网络

稀疏候选区域生成网络是一个轻量级的卷积神经网络，用于生成稀疏的候选区域。网络由几个卷积层和一个全连接层组成。卷积层用于提取图像特征，全连接层用于生成候选区域。

稀疏候选区域生成网络的设计目的是产生稀疏的候选区域，即每个位置只有一个候选区域。这与传统的候选区域生成器形成对比，传统候选区域生成器通常生成大量重叠的候选区域。

ROI池层

ROI池层将稀疏的候选区域映射到固定大小的特征图上。ROI池层是一个空间变换层，它使用双线性插值将每个候选区域中的像素重新映射到特征图上的固定位置。

ROI池层的设计目的是确保每个特征图都包含候选区域的信息。这对于分类器来说是重要的，因为分类器需要从候选区域中提取特征以进行预测。

分类器

分类器是一个全连接网络，用于目标分类和边框回归。分类器由几个全连接层组成。全连接层用于从特征图中提取特征，并预测候选区域所属的目标类别和边框回归偏移量。

分类器是Sparse R-CNN框架的关键模块。它负责预测候选区域所属的目标类别和边框回归偏移量。分类器的准确性对于整体检测精度的至关重要。

实验

我们在PASCAL VOC和MS COCO数据集上对Sparse R-CNN进行了评估。PASCAL VOC数据集包含20个目标类别，而MS COCO数据集包含80个目标类别。

我们在PASCAL VOC数据集上使用mAP作为评价指标，在MS COCO数据集上使用mAP和AR作为评价指标。mAP是平均准确度，它衡量了检测器在不同IoU阈值下检测目标的准确性。AR是平均召回率，它衡量了检测器在不同IoU阈值下召回目标的准确性。

实验结果表明，Sparse R-CNN在目标检测任务上优于最先进的方法。在PASCAL VOC数据集上，Sparse R-CNN的mAP为82.2%，高于Faster R-CNN的80.4%。在MS COCO数据集上，Sparse R-CNN的mAP为44.3%，高于Faster R-CNN的43.8%。

结论

本文提出了一种新的目标检测框架Sparse R-CNN，该框架可以端到端学习目标提议和分类。Sparse R-CNN使用一个轻量级的卷积网络生成稀疏的候选区域，然后使用一个ROI池层将候选区域映射到固定大小的特征图上。随后，这些特征图被输入到一个全连接网络，用于目标分类和边框回归。与传统的候选区域生成器相比，Sparse R-CNN学习的目标提议在质量上更高，因为它们是针对特定图像和任务量身定制的。此外，Sparse R-CNN的端到端训练过程允许所有模块联合优化，从而提高了整体检测精度。