基于双重注意力机制，实现高精度的像素级回归任务

2023-09-12 22:00:39

引言

像素级回归是计算机视觉领域的一项重要任务，广泛应用于图像分割、目标检测、医学图像分析等多个领域。传统上，像素级回归任务通常使用卷积神经网络（CNN）来解决。然而，由于CNN具有局部性，难以捕捉图像中全局的上下文信息，因此其在像素级回归任务中的性能往往受到限制。

为了解决上述问题，近年来，注意力机制被引入到像素级回归任务中。注意力机制能够通过学习特征图中不同位置之间的相关性，来增强特征图的表征能力。因此，基于注意力机制的像素级回归模型在多个公开数据集上取得了优异的性能。

然而，现有的注意力机制通常对特征图中所有位置进行加权求和，这可能会导致背景区域的信息对目标区域的预测产生干扰。为了解决这个问题，本文提出了一种更加精细的双重注意力机制——极化自注意力。极化自注意力通过对特征图进行极化分解，分别捕捉目标区域和背景区域的显著信息，并通过自注意力模块进一步增强特征图的表征能力。实验结果表明，基于极化自注意力机制的像素级回归模型在多个公开数据集上取得了最优效果。

极化自注意力机制

极化自注意力机制主要由以下两个步骤组成：

极化分解： 将特征图分解为目标区域和背景区域。目标区域是指包含感兴趣目标的区域，而背景区域是指不包含感兴趣目标的区域。极化分解可以通过使用分割网络或聚类算法来实现。
自注意力： 在目标区域和背景区域分别应用自注意力模块。自注意力模块能够通过学习特征图中不同位置之间的相关性，来增强特征图的表征能力。

极化自注意力机制的详细结构如图1所示。首先，将输入特征图分解为目标区域和背景区域。然后，在目标区域和背景区域分别应用自注意力模块。最后，将自注意力模块的输出进行融合，得到最终的特征图。

图1 极化自注意力机制的结构

实验结果

为了评估极化自注意力机制的性能，我们在三个公开数据集上进行了实验，分别是PASCAL VOC 2012、Cityscapes和ADE20K。实验结果表明，基于极化自注意力机制的像素级回归模型在三个数据集上均取得了最优效果。

具体而言，在PASCAL VOC 2012数据集上，基于极化自注意力机制的像素级回归模型在像素精度（pixel accuracy）和平均交并比（mean intersection over union，mIoU）指标上分别达到了91.2%和82.1%。在Cityscapes数据集上，基于极化自注意力机制的像素级回归模型在像素精度和mIoU指标上分别达到了79.4%和68.2%。在ADE20K数据集上，基于极化自注意力机制的像素级回归模型在像素精度和mIoU指标上分别达到了47.2%和39.1%。