计算机科学>机器学习
标题: Entropy-MCMC:从平坦盆地轻松取样
摘要: 贝叶斯深度学习依赖于后验分布估计的质量。 然而,深层神经网络的后验本质上是高度多模态的,局部模态表现出不同的泛化性能。 考虑到实际预算,将目标对准原始后验值可能会导致性能次优,因为一些样本可能会陷入“坏”模式并遭受过拟合。 利用具有低泛化误差的“良好”模式通常位于能源景观的平坦盆地这一观察结果,我们建议将采样偏向于这些平坦区域的后部。 具体来说,我们引入了一个辅助引导变量,其平稳分布类似于平滑后验无尖峰模式,将MCMC采样器引导至平坦盆地。 通过将该指导变量与模型参数相结合,我们创建了一个简单的联合分布,从而以最小的计算开销实现高效采样。 我们证明了该方法的收敛性,并进一步证明了在强凸环境下,该方法比现有的几种平面化方法收敛得更快。 实验结果表明,我们的方法能够成功地从后部的平坦盆地进行采样,并且在分类、校准和分布外检测等多个基准上优于所有比较基线。