VICReg公司 swMATH ID: 39717 软件作者： 阿德里安·巴德斯（Adrien Bardes）、让·庞斯（Jean Ponce）、延勒村（Yann LeCun） 说明： VICReg：用于自我监督学习的方差-方差-协方差正则化。最近的图像表示学习的自监督方法是基于最大化来自同一图像不同视图的嵌入向量之间的一致性。当编码器输出恒定矢量时，得到了平凡解。这种崩溃问题通常是通过学习架构中的隐含偏见来避免的，这些偏见往往缺乏明确的理由或解释。在本文中，我们引入了VICReg（Variance-Invariance-Covariance Regularization，方差-方差-协方差正则化），这是一种明确避免崩溃问题的方法，它使用一个简单的正则化项分别对每个维上的嵌入方差进行正则化。VICReg将方差项与基于冗余减少和协方差正则化的去相关机制相结合，在几个下游任务上取得了与最新技术相当的结果。此外，我们还表明，将新的方差项纳入其他方法有助于稳定训练并导致性能改进。 主页： https://paperswithcode.com/paper/vicreg-variance-invariance-coviance 相关软件： PyTorch公司；维斯尔；独奏学习；PyTorch闪电；ReSSL（重新SSL）；ImageNet公司；CIFAR公司；蟒蛇；轻轻地；更深层的GCN；利比亚AUC；DGL公司；RMS公司；挖掘；亚当；TensorFlow公司；电影镜头；CheXpert公司；github；SimCLR（模拟清除） 引用于： 1文件 5位作者引用 1 达科斯塔，维克托·吉尔赫梅·图里西 1 恩里科·菲尼 1 梅因·纳比 1 伊丽莎·里奇 1 尼库·塞贝 连载1篇 1 机器学习研究杂志（JMLR） 在1个字段中引用 1 计算机科学（68至XX） 按年份列出的引文