计算机科学>机器学习
标题: 离散分布的类Langevin采样器
摘要: 我们提出了离散Langevin建议(DLP),这是一种简单且可扩展的基于梯度的建议,用于采样复杂的高维离散分布。 与基于Gibbs采样的方法相比,DLP能够在一步内并行更新所有坐标,并且变化的大小由步长控制。 这使得在高维和强相关变量的空间中进行廉价高效的探索成为可能。 我们证明了DLP的有效性,因为对于对数二次分布,其平稳分布的渐近偏差为零,而对于接近对数二次的分布,其渐近偏差较小。 利用DLP,我们开发了几种不同的采样算法,包括未调整的、都市调整的、随机的和预处理的版本。 DLP在各种任务上都优于许多流行的替代方案,包括伊辛模型、受限玻尔兹曼机器、基于深度能量的模型、二进制神经网络和语言生成。