分配转移下对比学习与自我训练的互补效益

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

Saurabh Garg、Amrith Setlur、Zachary Lipton、Sivaraman Balakrishnan、Virginia Smith、Aditi Raghunathan

摘要

在分布转移（无监督领域适应）和无分布转移（半监督学习）的情况下，自我训练和对比学习已成为纳入未标记数据的主要技术。然而，尽管这些技术很受欢迎，也很兼容，但它们的联合疗效仍令人惊讶地未被探索。本文首先对这一组合进行了系统的实证研究，发现（i）在领域适应环境中，自学和对比学习具有显著的互补性；以及（ii）令人惊讶的是，在半监督学习环境中，这些益处并不是协同的。在八个分布移位数据集（例如，BREED、WILDS）中，我们证明了组合方法比单独使用这两种方法获得了3-8%的精确度。最后，我们在一个简化的分布转移模型中对这些技术进行了理论分析，该模型演示了一些场景，在这些场景中，对比学习产生的特征可以为自学训练提供良好的初始化，以进一步放大增益并获得最佳性能，即使其中任何一种方法都会失败。