雅各布·沃斯特鲁普·戈德曼;托本·赛尔;Singh，Sumeetpal Sidhu公司 基于梯度的马尔可夫链蒙特卡罗用于先验不可微的贝叶斯推理。 （英语） Zbl 1524.62473号 美国统计协会。 117，编号540，2182-2193（2022）. 摘要：贝叶斯统计中不可微先验的使用越来越普遍，尤其是在贝叶斯成像分析中。当前最先进的方法是近似的，即通过Moreau-Yosida包络用平滑近似代替后验，并将基于梯度的离散扩散应用于结果分布的样本。我们描述了Moreau-Yosida近似的误差，并提出了一种使用欠阻尼Langevin动力学的新实现。然而，在严重失误的情况下，用近似值替换后部可能不是可行的选择。相反，我们证明了分段确定马尔可夫过程（PDMP）可以用于从几乎处处可微的分布进行精确的后验推断。此外，与基于扩散的方法相比，所建议的基于PDMP的采样器对先验形状没有任何假设，也不需要使用计算成本低廉的近似算子，因此具有更广泛的应用范围。通过详细的数值例子，包括一个不可微的圆形分布和一个非凸的基因组学模型，我们阐明了这些抽样方法在中高维问题上的相对优势，强调了当准确抽样具有决定性时，基于PDMP的方法的优点。本文的补充材料可在网上获得。 引用于1文件 MSC公司： 62M40型 随机字段；图像分析 2015年1月62日 贝叶斯推断 关键词：贝叶斯成像;马尔科夫蒙特卡洛;马尔可夫过程;近端算子;分段确定性 软件：备用记录寄存器 PDF格式BibTeX公司 XML格式引用 \textit｛J.V.Goldman｝等人，《美国法律总汇》第117卷，第540、2182-2193号（2022年；兹bl 1524.62473） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] 巴巴坎，S.D。；Luessi，M。；莫利纳，R。；Katsaggelos，A.K.，“低秩矩阵估计的稀疏贝叶斯方法，IEEE信号处理汇刊，603964-3977（2012）·Zbl 1393.94670号 ·doi:10.1109/TSP.2012.2197748 [2] 巴巴坎，S.D。；莫利纳，R。；Katsaggelos，A.K.，“使用总变差先验的变分贝叶斯盲反褶积，IEEE图像处理汇刊，18，12-26（2008）·Zbl 1371.94479号 ·doi:10.1109/TIP.2008.2007354 [3] 巴巴坎，S.D。；莫利纳，R。；Katsaggelos，A.K.，“使用拉普拉斯先验的贝叶斯压缩传感，IEEE图像处理汇刊，1953-63（2009）·Zbl 1371.94480号 [4] Bauschke，H.H。；Combettes，P.L.，Hilbert空间中的凸分析和单调算子理论，408（2011），Springer·Zbl 1218.47001号 [5] 贝克，A。；Teboulle，M.，“约束全变差图像去噪和去模糊问题的快速梯度算法，IEEE图像处理汇刊，182419-2434（2009）·Zbl 1371.94049号 ·doi:10.1109/TIP.2009.2028250 [6] Bhattacharya，A。；帕蒂，D。；新南威尔士州皮莱。；Dunson，D.B.，“最佳收缩的狄利克雷拉普拉斯先验”，《美国统计协会杂志》，1101479-1490（2015）·Zbl 1373.62368号 ·doi:10.1080/01621459.2014.960967 [7] 比尔肯斯，J。；费恩黑德，P。；Roberts，G.，《大数据贝叶斯分析的Zig-Zag过程和超有效抽样》，《统计年鉴》，471288-1320（2019）·Zbl 1417.65008号 [8] 北卡罗来纳州Bou-Rabee。；Sanz-Serna，J.M.，“随机哈密尔顿蒙特卡罗，应用概率年鉴，27，2159-2194（2017）·Zbl 1373.60129号 ·doi:10.1214/16-AAP1255 [9] 布沙尔德·科特，A。；Vollmer，S.J。；Doucet，A.，“反弹粒子采样器：不可逆拒绝自由马尔可夫链蒙特卡罗方法”，美国统计协会杂志，113855-867（2018）·兹比尔1398.60084 ·doi:10.1080/01621459.2017.1294075 [10] 博伊德，S。；Vandenberghe，L.，《凸优化》（2004），剑桥大学出版社·Zbl 1058.90049号 [11] 坎迪斯，E.J。；J.隆伯格。；Tao，T.，“鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号，IEEE信息理论汇刊，52，489-509（2006）·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083 [12] 卡瓦略，C.M。；新几内亚波尔森。；Scott，J.G.，“稀疏信号的马蹄形估计器，生物特征，97，465-480（2010）·Zbl 1406.62021号 ·doi:10.1093/biomet/asq017 [13] 考利，G.C。；Talbot，N.L.，“利用稀疏逻辑回归和贝叶斯正则化进行癌症分类中的基因选择，生物信息学，222348-2355（2006）·doi:10.1093/bioinformatics/btl386 [14] Chaari，L。；托内雷特，J.-Y。；Batatia，H.，第21届欧洲信号处理会议（EUSIPCO 2013），使用贝努利-拉普拉斯先验的稀疏贝叶斯正则化，1-5（2013），新泽西州皮斯卡塔韦：IEEE，皮斯卡塔韦，新泽西 [15] Chaari，L。；托内雷特，J.-Y。；Chaux，C。；Batatia，H.，“非光滑能量采样的哈密顿蒙特卡罗方法，IEEE信号处理汇刊，64，5585-5594（2016）·Zbl 1414.94856号 ·doi:10.1109/TSP.2016.2585120 [16] Chambolle，A.，“总变异最小化算法及其应用”，《数学成像与视觉杂志》，2089-97（2004）·Zbl 1366.94048号 [17] Chambolle，A。；卡塞勒斯，V。；Cremers，D。；Novaga，M。；Pock，T.，“图像分析总变差简介”，《稀疏恢复的理论基础和数值方法》，9227（2010） [18] Chambolle，A。；Pock，T.，“凸问题的一阶原对偶算法及其在成像中的应用，数学成像与视觉杂志，40，120-145（2011）·兹比尔1255.68217 ·doi:10.1007/s10851-010-0251-1 [19] Chen，T.、Fox，E.和Guestrin，C.（2014年6月），“随机梯度Hamiltonian Monte Carlo”，机器学习国际会议，第1683-1691页。 [20] Cheng，X.、Chatterji，N.S.、Bartlett，P.L.和Jordan，M.I.（2017），“欠阻尼Langevin MCMC:非症状分析”，arXiv预印本arXiv:1707.03663。 [21] Dalalyan，A.S.，“平滑和对数凹形密度近似采样的理论保证”，英国皇家统计学会杂志，B辑，79651-676（2017）·Zbl 1411.62030号 ·doi:10.1111/rssb.12183 [22] Davis，M.H.，“分段确定马尔可夫过程：一类一般的非扩散随机模型”，《皇家统计学会杂志》，B辑，353-388（1984）·兹比尔0565.60070 ·doi:10.1111/j.2517-6161.1984.tb01308.x [23] Deligiannidis，G。；布沙尔德·科特，A。；Doucet，A.，“反弹粒子采样器的指数遍历性，统计年鉴，471268-1287（2019）·Zbl 1467.60057号 ·doi:10.1214/18-AOS1714 [24] Deligiannidis，G.、Paulin，D.、Bouchard-Cóté，A.和Doucet，A.（2018），“随机哈密顿蒙特卡罗作为反弹粒子采样器的缩放极限和无量纲收敛速度”，arXiv预印本arXiv:1808.04299·Zbl 1484.65004号 [25] 道格拉斯，J。；Rachford，H.H.，《关于两个和三个空间变量中热传导问题的数值解》，《美国数学学会学报》，82，421-439（1956）·Zbl 0070.35401号 [26] Durmus，A。；Moulines，E.，“通过未调整的Langevin算法进行高维贝叶斯推断，伯努利，252854-2882（2019）·Zbl 1428.62111号 ·doi:10.3150/18-BEJ1073 [27] Durmus，A。；Moulines，E。；Pereyra，M.，“利用近似马尔可夫链蒙特卡罗进行高效贝叶斯计算：当朗之万遇到莫罗时，SIAM成像科学杂志，11，473-506（2018）·Zbl 1401.65016号 ·doi:10.1137/16M1108340 [28] Ethier，S.N。；Kurtz，T.G.，《马尔可夫过程：表征与收敛》，282（2009），新泽西州霍博肯：新泽西州威利 [29] Farsiu，S。；医学博士罗宾逊。；Elad，M。；Milafar，P.，“快速和稳健的多帧超分辨率，IEEE图像处理汇刊，1327-1344（2004）·doi:10.1109/tip.2004.834669 [30] Fernández-Durán，J.J.，“基于非负三角和的圆形分布，生物统计学，60499-503（2004）·Zbl 1274.62352号 ·doi:10.1111/j.0006-341X.2004.00195.x [31] Golub，T.R。；Slonim，D.K。；Tamayo，P。；华德，C。；加森贝克，M。；梅西洛夫，J.P。；科勒，H。；Loh，M.L。；唐宁，J.R。；Caligiuri，M.A.，“癌症的分子分类：通过基因表达监测进行分类发现和分类预测”，《科学》，286531-537（1999）·doi:10.1126/science.286.5439.531 [32] Hosseini，B.，“无限维非高斯先验后验测度的两种Metropolis-Hastings算法”，SIAM/ASA不确定性量化杂志，7，1185-1223（2019）·Zbl 07118427号 [33] 侯赛尼，S。；Mordukhovich，B.S。；Uschmajew，A.，《非光滑优化及其应用》（2019），瑞士AG:Springer，Switzerland AG·Zbl 1417.49001号 [34] Jacobsen，M.（2006），点过程理论与应用：标记点和分段决定过程，Springer科学与商业媒体。巴塞尔协议：Birkh\（####\）用户·邮编1093.60002 [35] Jander，R.，“Die Optische Richtungsorientierung der Roten Waldameise（Formica Ruea l，Zeitschrift füR vergleichende Physiologies，40，162-238（1957）”·doi:10.1007/BF00297947 [36] 科赫，C。；Georgieva，K。；卡西雷迪，V。；Akinci，B。；Fieguth，P.，“混凝土和沥青民用基础设施基于计算机视觉的缺陷检测和状态评估综述，先进工程信息学，29，196-210（2015）·doi:10.1016/j.aei.2015.01.008 [37] 科尔钦斯基，V。；Lounici，K。；Tsybakov，A.B.，“核形式惩罚和低噪声矩阵完成的最佳速率”，《统计年鉴》，39，2302-2329（2011）·Zbl 1231.62097号 ·doi:10.1214/11-AOS894 [38] le Pointe，H.博士。；穆塞拉德，H。；Rudelli，A。；蒙塔尼，J.-P。；Filipe，G.，“布朗特病：磁共振成像，儿科放射学，25，12-14（1995）·doi:10.1007/BF02020831 [39] 刘易斯，P.W。；Shedler，G.S.，“通过细化模拟非均匀泊松过程，海军研究后勤季刊，26403-413（1979）·Zbl 0497.60003号 ·doi:10.1002/nav.3800260304 [40] Livingstone，S.和Zanella，G.（2019），“基于梯度的MCMC算法的鲁棒性”，arXiv预印本arXiv:1908.11812·Zbl 07593420号 [41] Ma，Y.-A.、Chatterji，N.、Cheng，X.、Flamarion，N.，Bartlett，P.和Jordan，M.I.（2019），“MCMC是否存在Nesterov加速的模拟？”arXiv预印本arXiv:1902.00996·兹比尔1475.62123 [42] Neal，R.M.（2004），“改善MCMC估计的渐近方差：不可逆链更好”，arXiv-print-math/0407281。 [43] Nitanda，A.，“使用加速技术的随机近似梯度下降，神经信息处理系统的进展，27，1574-1582（2014） [44] 北卡罗来纳州帕里赫。；Boyd，S.，“近似算法”，《优化的基础和趋势》，1127-239（2014）·数字对象标识代码：10.1561/24000003 [45] 帕克，T。；Casella，G.，“贝叶斯拉索，美国统计协会杂志，103，681-686（2008）·Zbl 1330.62292号 ·doi:10.1198/016214500000037 [46] Pereyra，M.，“近似马尔可夫链蒙特卡罗算法、统计和计算，26745-760（2016）·Zbl 1505.62315号 ·数字对象标识代码：10.1007/s11222-015-9567-4 [47] 佩雷拉，M。；米尔斯，L.V。；Zygalakis，K.C.，“使用显式稳定方法加速邻近马尔可夫链蒙特卡罗，SIAM成像科学杂志，13，905-935（2020）·Zbl 07218335号 ·doi:10.1137/19M1283719 [48] 彼得斯，E。；de With，G.，“一般电位的无拒绝蒙特卡罗采样”，《物理评论》。E、 统计、非线性和软物质物理学，85，026703（2012） [49] 新几内亚波尔森。；斯科特·J·G。；Willard，B.T.，“统计和机器学习中的近似算法，统计科学，30559-581（2015）·Zbl 1426.62213号 ·doi:10.1214/15-STS530 [50] Roberts，G.O。；Rosenthal，J.S.，“离散近似对朗之万扩散的最佳缩放”，《皇家统计学会杂志》，B辑，60，255-268（1998）·Zbl 0913.60060号 ·doi:10.1111/1467-9868.00123 [51] Roberts，G.O。；Tweedie，R.L.，“朗之万分布及其离散近似的指数收敛性”，伯努利，2341-363（1996）·兹比尔0870.60027 ·doi:10.2307/3318418 [52] 鲁丁，L.I。；Osher，S。；Fatemi，E.，“基于非线性总变差的噪声去除算法，物理D：非线性现象，60，259-268（1992）·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F [53] Salim，A.、Kovalev，D.和Richtárik，P.（2019），“随机近似Langevin算法：电位分裂和非渐近速率”，arXiv预印本arXiv:1905.11768。 [54] Shevade，S.K。；Keerthi，S.S.，“使用稀疏逻辑回归进行基因选择的简单高效算法”，生物信息学，192246-2253（2003）·doi:10.1093/bioinformatics/btg308 [55] Tibshirani，R.，“通过拉索进行回归收缩和选择，皇家统计学会期刊，B辑，58，267-288（1996）·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [56] Vanetti，P.、Bouchard-Cóté，A.、Deligiannidis，G.和Doucet，A.（2017），“分段确定马尔可夫链蒙特卡罗”，arXiv预印本arXiv:1707.05296。 [57] Welling，M.和Teh，Y.W.（2011），“通过随机梯度Langevin动力学进行贝叶斯学习”，第28届机器学习国际会议论文集（ICML-11，），第681-688页。 [58] Wibisono，A.（2019），“近似Langevin算法：等高线下的快速收敛”，arXiv预印本arXiv:1911.01469。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。