计算机科学>机器学习
标题: 负抽样校正的对比学习
摘要: 作为最有效的自我监督表征学习方法之一,对比学习依赖于多个负对来对比每个正对。 在对比学习的标准实践中,使用数据增强方法来生成正负对。 虽然现有的工作一直侧重于改进正抽样,但负抽样过程往往被忽视。 事实上,产生的阴性样品往往被阳性样品污染,从而导致偏差损失和性能下降。 为了纠正负采样偏差,我们提出了一种新的对比学习方法——积极无标记对比学习(PUCL)。 PUCL将生成的负样本视为未标记样本,并使用来自正样本的信息来校正对比损失中的偏差。 我们证明,与无偏对比度损失相比,PUCL中使用的校正损失只产生了可忽略的偏差。 PUCL可以应用于一般的对比学习问题,并在各种图像和图形分类任务上优于最新的方法。 PUCL的代码在补充文件中。