随机梯度MCMC的有效且可推广的调整策略

@第{Coullon2021EfficientAG条，title={随机梯度MCMC}的有效且可推广的调整策略，author={杰里米·库伦（Jeremie Coullon）、莉亚·索斯（Leah F.South）和克里斯托弗·奈梅特（Christopher Nemeth}），journal={统计与计算}，年份={2021}，体积={33}，页数={1-18}，url={https://api.semanticscholar.org/CorpusID:244400816}}
本文提出了一种新的基于盗贼的算法，该算法通过最小化真实后验值与其蒙特卡罗近似值之间的Stein差异来调整SGMCMC超参数。
Springer上的视图
[PDF]语义阅读器
9引文
极具影响力的引文
1
背景引文
4
方法引文
4

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

9引文

利用大样本渐近调整统计推断的随机梯度算法

这项工作通过联合步长-样本尺度极限表征了SGA的大样本统计渐近性，并证明了一个Bernstein-von Mises-like定理来指导调整，包括对模型错误指定鲁棒的广义后验函数。

基于随机梯度巴克动力学的稳健近似采样

本工作引入了随机梯度巴克动力学（SGBD）算法，将最近开发的巴克MCMC方案（基于朗之万的采样算法的稳健替代方案）扩展到随机梯度框架，并描述了随机梯度对巴克过渡机制的影响。

广义贝叶斯无似然推理

提出了一种基于广义贝叶斯推理的贝叶斯无似然推理（LFI）的后验估计方法，该方法使用评分规则（SR）来评估给定观测值的概率模型，以定义后验估计。

autoMALA：局部自适应大都市调整Langevin算法

介绍了一种新的基于MALA的马尔可夫链蒙特卡罗算法autoMALA，该算法根据目标分布的局部几何形状在每次迭代时自动设置步长，并证明了尽管步长不断自动调整，autoMALA仍具有正确的不变分布。

SGMCMCJax：用于随机梯度马尔可夫链蒙特卡罗算法的轻量级JAX库

在贝叶斯推断中，后验分布是由先验分布和似然得出的模型参数的概率分布。人们可以计算积分…

具有延迟拒绝的多尺度密度采样广义哈密顿蒙特卡罗

引入了延迟抑制广义HMC（DR-G-HMC）采样器，使得广义HMC方法与最新的非U形取样器具有竞争力，并且对参数调整具有鲁棒性。

自适应MCMC的强化学习

本文的目的是建立一个总体框架，称为强化学习大都会——黑斯廷斯，该框架在学习快速混合大都会——海斯廷斯转换核上得到了理论支持和实证验证，这些核心被投射为确定性策略并通过策略梯度进行优化。

基于投币赌的隐变量模型无需调整的最大似然训练

两种新的基于粒子的算法，用于通过边际最大似然估计学习潜在变量模型，其中一种算法完全无需调整，另一种算法则完全无需学习速率，基于凸优化中的投币技术。

联合边缘智能和边缘缓存机制

本研究引入了在对等框架内为FL设计的两种创新算法，旨在提高性能，尤其是在分散和资源受限的环境中，并提出了一种具有概率保证的客户端平衡Dirichlet采样算法，以缓解过度采样问题。

45参考文献

随机梯度MCMC的控制变量

对于随机梯度MCMC，提出了一种替代的对数后验梯度估计方法，该方法使用控制变量来减小方差，并且表明了一种不同的控制变量技术，即零方差控制变量，可以免费应用于SGMCMC算法。

随机梯度马尔可夫链蒙特卡罗

提出了一类特殊的可扩展蒙特卡罗算法——随机梯度马尔可夫链蒙特卡罗（SGMCMC），它利用数据子采样技术来降低MCMC的迭代代价。

自适应MCMC教程

这项工作提出了一系列新的自适应算法，这些算法在实践中证明是稳健和可靠的，并审查了随机近似的标准和有用的框架，它允许系统地优化常用标准。

随机梯度MCMC的完整配方

本文基于通过两个矩阵指定的连续马尔可夫过程，给出了构造MCMC采样器（包括随机梯度版本）的一般方法，并使用该方法直接提出了一种新的状态自适应采样器：随机梯度黎曼-哈密顿蒙特卡罗（SGRHMC）。

用核测量样品质量

基于Stein方法提出了K SDs的弱收敛理论，证明了常用的KSD即使对于高斯目标也无法检测到非收敛性，并且证明了具有缓慢衰减尾数的核可证明决定一类目标分布的收敛性。

弥合随机梯度MCMC与随机优化之间的差距

理论分析表明，所提出的模拟退火方法收敛于全局最优解，并且最近的SG-MCMC方法扩展了两个关键组件：i）自适应预处理器（如ADAgrad或RMSprop），以及ii）自适应元件的动量权重。

基于随机梯度Langevin动力学的贝叶斯学习

本文提出了一种基于小样本迭代学习的大规模数据集学习新框架。通过在标准随机信号中加入适量的噪声…

具有自适应漂移的随机梯度Langevin动力学算法

本文提出了一类自适应随机梯度马尔可夫链蒙特卡罗算法，其中漂移函数被偏置以增强对鞍点的逃逸，并且偏差根据过去样本的梯度自适应调整。

用斯坦因方法测量样品质量

这项工作引入了一种基于Stein方法的新的可计算质量度量方法，该方法量化了大量测试函数中样本和目标期望之间的最大差异，并使用该工具比较准确、有偏差和确定性的样本序列。

随机梯度Langevin动力学的承诺和陷阱

结果表明，SGLDFP提供了来自后验分布的近似样本，对于数据点数量的计算成本次线性，其精度可与Langevin Monte Carlo（LMC）算法相媲美。