CAE：北大博士生的自监督视觉学习新范式，超越MAE

在当今飞速发展的计算机视觉领域，自监督学习技术正成为引领变革的中坚力量。近日，来自北京大学的研究生团队提出了一种名为CAE（掩蔽自编码器）的新颖自监督视觉学习范式，在泛化能力方面展现出了超越现有先进技术的潜力。

引言

深度学习在计算机视觉领域取得了巨大的成功，推动了图像分类、目标检测和语义分割等任务的进步。然而，传统监督学习方法严重依赖于大量标记数据，这往往成本高昂且耗时。

自监督学习作为一种替代方案应运而生，它无需使用标记数据，而是从未标记数据中学习有意义的特征表示。这大大降低了数据收集和标记的成本，并为训练高效、鲁棒的视觉模型铺平了道路。

何恺明MAE的局限性

2021年，何恺明等人在视觉自监督学习领域取得了重大突破，提出了掩蔽自编码器（MAE）模型。MAE将图像中的随机块掩蔽起来，并训练模型从这些掩蔽区域重建原始图像。这种方法取得了显著的成果，证明了自监督学习在视觉表示学习中的巨大潜力。

然而，MAE也存在一定的局限性。它在泛化能力方面表现不佳，即当应用于与训练数据分布不同的新任务时，其性能会显着下降。这限制了MAE在现实世界应用程序中的广泛应用。

北大博士生提出的CAE

为了克服MAE的局限性，北大博士生提出了CAE（掩蔽自编码器）。CAE是一种新的自监督视觉学习范式，它使用了一种改进的掩蔽策略和一个额外的对比学习损失。

CAE的关键创新在于它采用了渐进式掩蔽策略。与MAE中的随机块掩蔽不同，CAE使用渐进式扩大掩蔽区域的方法，迫使模型学习更鲁棒的特征表示。此外，CAE还采用了对比学习损失，这有助于将模型学习的表示与任务无关，提高了泛化能力。

实验结果

为了评估CAE的有效性，研究人员在广泛的下游任务上对它进行了测试，包括图像分类、目标检测和语义分割。结果表明，CAE在所有任务上都优于MAE，证明了其泛化能力的显着提高。

特别是，在ImageNet图像分类任务上，CAE实现了86.5%的准确率，而MAE仅为84.3%。在COCO目标检测任务上，CAE的平均精度（AP）达到44.2%，而MAE为41.5%。这些结果有力地证明了CAE在泛化能力方面的优势。

结论

北大博士生提出的CAE为自监督视觉学习领域做出了重大贡献。它通过使用渐进式掩蔽策略和对比学习损失，成功地克服了MAE泛化能力差的局限性。CAE在各种下游任务上都展现出了优异的性能，为训练高效、鲁棒的视觉模型开辟了新的道路。

随着计算机视觉技术的不断发展，我们可以期待CAE和其他自监督学习范式的持续进步。这些技术有望彻底改变我们与计算机交互的方式，并为广泛的应用开辟新的可能性。