离散分布的类Langevin采样器

@进行中{张2022ALS,title={离散分布的类Langevin采样器},作者={张汝琪、刘兴超、刘强},booktitle={机器学习国际会议},年份={2022},网址={https://api.semanticscholar.org/CorpusID:249889945}}
通过证明对数二次分布的平稳分布的渐近偏差为零,而对于接近对数二次的分布,其渐近偏差较小,从而证明了DLP的有效性。

本文图表

基于牛顿级数逼近的离散分布有效信息建议

本文建立在局部平衡建议的基础上,通过牛顿级数展开有效地逼近离散似然比,从而能够在离散空间中进行大规模高效的探索,并证明了该方法在有或无Metropolis-Hastings步长的情况下具有保证的收敛速度。

基于Langevin Monte Carlo算法的非对数凹面和非光滑采样

这项工作研究了从非对数压缩分布(例如高斯混合分布)中进行近似采样的问题,由于其多峰性,即使在低维中也常常具有挑战性,并进行了数值模拟,以比较最常用的Langevin-Monte-Carlo算法的性能。

基于Wasserstein梯度流的离散Langevin采样器

这项工作展示了Wasserstein梯度流如何自然地推广到离散空间,并揭示了如何通过选择特定的离散化来获得离散空间中最近的基于梯度的采样器作为特殊情况。

离散空间的任意尺度平衡采样器

这项工作将局部平衡函数替换为任意尺度的平衡函数,该函数可以自我调整,以在任何尺度上实现更高的提案分布效率,并且在各种综合分布和实际分布上大大优于现有方法。

离散空间上知情MCMC采样器的无量纲松弛时间

本文建立了一类知情的Metropolis-Hastings算法获得与问题维数无关的松弛时间的充分条件,并给出了离散空间上Metropolis-Hasting斯算法的一般混合时间界。

离散空间中基于梯度的增强MCMC

这项工作介绍了几个由MALA概念启发的离散Metropolis-Hastings采样器,并在贝叶斯推断和基于能量的建模中的一系列具有挑战性的采样问题中展示了它们强大的经验性能。

知情MCMC抽样的几何方法

在各种多模态、非线性和高维示例的背景下,将所提出的几何MH算法与其他MCMC算法对各种马尔可夫链排序,即协方差、效率、Peskun和谱间隙排序进行了比较。

具有发散诊断的能量模型的近似采样器

基于能量的模型(EBM)允许灵活地指定概率分布。然而,来自EBM的采样是非平凡的,通常需要近似技术,如马尔可夫链蒙特卡罗

离散概率建模的生成流网络

这项工作提出了基于能量的生成流网络(EB-GFN),这是一种用于高维离散数据的新型概率建模算法,能够将昂贵的MCMC勘探分摊到从GFlowNet采样的固定数量的动作中。

Oops I Toke A Gradient:离散分布的可缩放采样

本文针对离散变量概率模型提出了一种通用的、可扩展的近似采样策略,其性能优于变分自动编码器和现有的基于能量的模型,并给出了边界,表明该方法在提出局部更新的采样类中是近优的。

离散空间MCMC的路径辅助方案

一种路径辅助算法,使用局部移动组合来探索大型街区,在采样、推理和学习的各种离散模型上大大优于其他通用采样器。

基于SurVAE流增强MCMC的组合空间采样

这项工作引入了一种新的方法,该方法基于SurVAE流增强蒙特卡罗方法,使用归一化流和变分去量化等神经传输方法以及Metropolis-Hastings规则从离散分布中采样。

离散分布的Stein变分推断

所提出的将离散分布转换为等效分段连续分布的框架,在该框架上应用无梯度SVGD来执行有效的近似推理,对于棘手的离散分布,该框架优于现有的GOF测试方法。

离散空间中局部MCMC的明智建议

这项工作提出了一个简单的框架,用于设计知情的MCMC方案(即Metropolis–Hastings方案分发,适当地纳入了有关目标的本地信息),该框架自然适用于离散空间,与其他MCMC方案相比,效率提高了几个数量级。

具有不可逆Markov过程的离散空间上的加速采样

一类有效的连续时间、不可逆算法,它积极利用底层空间的结构,并特别强调如何使用对称性和其他群理论概念来改进对空间的探索。

使用哈密顿动力学的MCMC

这篇综述讨论了哈密顿蒙特卡罗的理论和实践方面,并介绍了它的一些变化,包括使用状态窗来决定接受或拒绝,使用快速近似计算轨迹,在轨迹过程中回火以处理孤立模式,以及避免无用轨迹占用大量计算时间的捷径方法。

使用哈密顿动力学的MCMC

这篇综述讨论了哈密顿蒙特卡罗的理论和实践方面,并介绍了它的一些变化,包括使用状态窗来决定接受或拒绝,使用快速近似计算轨迹,在轨迹过程中回火以处理孤立模式,以及避免无用轨迹占用大量计算时间的捷径方法。

基于随机梯度Langevin动力学的贝叶斯学习

本文提出了一种基于小样本迭代学习的大规模数据集学习新框架。通过在标准随机信号中加入适量的噪声

通过估计数据分布的梯度进行生成性建模

一种新的生成模型,使用分数匹配估计的数据分布梯度,通过朗之万动力学生成样本,允许灵活的模型架构,在训练或使用对抗方法时不需要采样,并提供可用于原则模型比较的学习目标。
...