具有可解码信息瓶颈的最优表示学习

的一部分神经信息处理系统的进展33（NeurIPS 2020）

作者

Yann Dubois、Douwe Kiela、David J.Schwab、Ramakrishna Vedantam

摘要

我们讨论了有监督学习的特征描述和最佳表示的发现问题。传统上，这个问题是使用信息瓶颈来解决的，该瓶颈以一种与解码器无关的方式压缩输入，同时保留有关目标的信息。然而，在机器学习中，我们的目标不是压缩，而是泛化，泛化与预测族或感兴趣的解码器（例如线性分类器）密切相关。我们提出了可解码信息瓶颈（DIB），从所需预测家族的角度考虑信息保留和压缩。因此，DIB产生了在预期测试性能方面最优的表示，并且可以在保证的情况下进行估计。经验表明，该框架可以用于在下游分类器上施加较小的泛化差距，并预测神经网络的泛化能力。