由Yuki M Asano和Christian Rupprecht撰写的文章
摘要：我们开发了一种自我监督学习公式，通过优化特征和标签的共同交叉熵损失，同时最大化信息，从而同时学习特征表示和有用的数据集标签。此方法可用于为任何图像数据集生成标签。
[纸类·代码]
从未标记数据中学习可以显著降低将算法部署到新应用程序的成本，从而扩大机器学习在现实世界中的影响。自我监督是一种越来越流行的学习框架标签。其想法是定义借口学习任务可以仅从原始数据构建，但这仍然会导致神经能够很好地转换为有用应用程序的网络。自我监控的大部分研究都集中在设计新的课前任务上。然而，鉴于监管数据作为ImageNet公司，标准分类目标仍然是最小化交叉熵损失与任何此类方法相比，预训练效果更好（对于一定数量的数据和模型复杂性）。这表明，分类任务可能足以对网络进行预培训，前提是适当的数据标签可用。本文通过设计一个自动标记算法。