CVPR 2022 | 可精简域适应：一种提升域适应网络泛化能力的新方法

引言
域适应（Domain Adaptation）是计算机视觉领域的一个重要研究方向，其目的是使模型能够在不同的领域（例如，不同数据集、不同场景、不同传感器等）上进行有效泛化。传统的域适应方法通常采用特征转换或对抗性学习等技术来减少源域和目标域之间的差异，从而提升模型在目标域上的泛化能力。然而，这些方法通常会增加模型的复杂度和计算量，并且可能导致模型在源域上的性能下降。

近年来，可精简网络（Slimmable Networks）在模型压缩和知识迁移方面取得了显著的进展。可精简网络可以根据不同的资源约束（例如，计算资源、内存资源等）动态调整网络结构，从而实现模型的压缩和加速。同时，可精简网络也可以通过知识迁移的方式将源域模型的知识迁移到目标域模型，从而提升目标域模型的性能。

方法

本文提出的可精简域适应方法的主要思想是将可精简网络结构引入到域适应任务中。具体来说，该方法首先构建一个可精简网络，然后通过在源域和目标域上训练该网络来获得一个可精简域适应网络。在训练过程中，该方法通过动态调整可精简网络的结构来减少源域和目标域之间的差异，从而提升模型在目标域上的泛化能力。

实验结果

该方法在多个数据集上的实验结果表明，其在提升域适应网络泛化能力方面具有明显的优势。例如，在Office-31数据集上，该方法的准确率比传统的域适应方法高出2.5%，同时模型大小减少了30%。在VisDA-2017数据集上，该方法的准确率比传统的域适应方法高出1.8%，同时模型大小减少了20%。

结论

本文提出了一种新的可精简域适应方法，该方法可以显著提升域适应网络的泛化能力。这种方法通过引入可精简网络结构，可以在保持准确性的同时减少模型大小和计算复杂度。该方法在多个数据集上的实验结果表明，其在提升域适应网络泛化能力方面具有明显的优势。

参考文献

[1] Y. Qin, Y. Ding, S. Chen, Z. Liu, Y. Lu, and J. Luo, "Slimmable domain adaptation," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11192-11201, 2022.
[2] F. Li, Y. Yang, J. Liu, X. Wang, F. Zhou, and J. Ye, "Revisiting knowledge transfer for visual recognition," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9351-9360, 2021.
[3] J. Huang, Y. Ding, S. Chen, Y. Lu, and J. Luo, "Knowledge transfer via feature alignment for visual recognition," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12086-12095, 2020.