方差-方差-协方差正则化的信息论视角

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

Ravid Shwartz-Ziv、Randall Balestriero、Kenji Kawaguchi、Tim G.J.Rudner、Yann LeCun

摘要

方差-方差-协方差正则化（VICReg）是一种自监督学习（SSL）方法，在各种任务中都显示出了良好的结果。然而，VICReg背后的基本机制尚未探索。在本文中，我们提出了VICReg目标的信息理论观点。我们首先推导确定性网络的信息理论量，以替代不切实际的随机网络假设。然后，我们将VICReg目标的优化与互信息优化联系起来，强调基本假设并促进与其他SSL算法的建设性比较，并推导出VICReg的泛化界限，揭示其对下游任务的固有优势。在这些结果的基础上，我们引入了一系列源自信息理论原则的SSL方法，这些方法的性能优于现有的SSL技术。