计算机科学>机器学习
标题: 基于牛顿级数逼近的离散分布有效信息建议
摘要: 建议分布中利用了梯度来加速离散分布上马尔可夫链蒙特卡罗算法的收敛。 然而,这些方法需要目标离散分布的自然可微扩展,而离散分布通常不存在或不能提供有效的梯度制导。 在本文中,我们针对任何离散分布提出了一个类梯度的建议,但没有这个强要求。 基于局部平衡的提议,我们的方法通过牛顿级数展开有效地近似离散似然比,从而能够在离散空间中进行大规模而有效的探索。 我们表明,我们的方法也可以看作是一个多线性扩展,从而继承了其所需的属性。 我们证明了无论有无Metropolis-Hastings步长,我们的方法都有保证的收敛速度。 此外,在几个不同的实验中,我们的方法优于许多常用的替代方法,包括设施定位问题、提取文本摘要和图像检索。