×

LS-MCMC公司

swMATH ID: 41466
软件作者: 王宝;邹迪凡;顾全全;斯坦利·奥斯尔。
描述: 拉普拉斯平滑随机梯度马尔可夫链蒙特卡罗。随机梯度朗之万动力学(SGLD)算法作为一种重要的马尔可夫链蒙特卡罗(MCMC)方法,在贝叶斯学习和后验抽样方面取得了很大的成功。然而,由于随机梯度引起的方差较大,SGLD通常收敛速度较慢。为了缓解这些缺点,我们利用最近开发的拉普拉斯平滑技术,提出了拉普拉斯光滑随机梯度朗之万动力学(LS-SGLD)算法。我们证明,对于对数压缩和非对数压缩密度的采样,LS-SGLD在2-Wasserstein距离内实现了严格较小的离散化误差,尽管其混合速度可能稍慢。在合成数据集和实际数据集上的实验验证了我们的理论结果,并证明了LS-SGLD在不同机器学习任务(包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络)上的优越性能。该代码可在https://github.com/BaoWangMath/LS-MCMC。
主页: https://arxiv.org/abs/111.10782
源代码:  https://github.com/BaoWangMath/LS-MCMC
关键词: 朗之万动力学随机梯度法拉普拉斯平滑马尔可夫链蒙特卡罗方法
相关软件: 拉普拉斯平滑-渐变下降阿达德尔塔亚当RMS公司阿达格拉德github
引用于: 2文件

2篇连载文章中引用

1 科学计算杂志
1 SIAM科学计算杂志

按年份列出的引文