×
阿兰·杜尔姆斯；埃里克·莫里斯

通过未经调整的Langevin算法进行高维贝叶斯推理。 （英语） Zbl 1428.62111号

伯努利 25，No.4A，2854-2882（2019）.
摘要：在本文中，我们考虑了高维概率分布\（\pi\）的采样问题，其密度为\（\mathbb｛r｝^d\）上的Lebesgue测度，已知为归一化常数\（x\mapsto\pi（x）=\mathrm｛e｝^｛-U（x）｝/\int_｛\mathbb｛r｝^d｝\mathrm｛e｝^｛-U（y）｝\，\mathrm{d} 年\). 例如，在贝叶斯推理和机器学习中，这样的问题自然会出现。假设（U）是连续可微的，则（U）全局为Lipschitz，且（U）为强凸，我们获得了基于Langevin随机微分方程Euler离散化的采样方法的2阶Wasserstein距离和总变差距离收敛到平稳性的非渐近界，无论步长是常数还是减小。这些边界对状态空间维数的依赖是明确的。还研究了适当加权的经验测度的收敛性，以及均方误差和对于可测且有界的函数，给出了指数偏差不等式。本文给出了二元回归贝叶斯推理的一个例子来支持我们的主张。

引用于73文件

MSC公司：

2015年1月62日 贝叶斯推断
60英尺60英寸 扩散过程
65二氧化碳 蒙特卡罗方法
62J02型 一般非线性回归

关键词：

朗之万扩散；马尔科夫蒙特卡洛；大都会调整的Langevin算法；收敛速度；总变化距离；回归，回归

软件：

贝叶斯逻辑；雷格利特
PDF格式BibTeX公司 XML格式引用
\textit{A.Durmus}和\textit{E.Moulines}，伯努利25，No.4A，2854-2882（2019；Zbl 1428.62111）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Albert，J.H.和Chib，S.（1993年）。二进制和多光子响应数据的贝叶斯分析。J.Amer。统计师。协会88 669-679·Zbl 0774.62031号 ·doi:10.1080/01621459.1993.10476321
[2] Borodin，A.N.和Salminen，P.（2002年）。布朗运动手册-行为和公式，第二版，概率及其应用。巴塞尔：Birkhäuser·Zbl 1012.60003号
[3] Bubeck，S.、Eldan，R.和Lehec，J.（2015）。投影Langevin Monte Carlo的有限时间分析。第28届神经信息处理系统国际会议论文集，NIPS’15 1243-1251。美国马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1397.65010号
[4] Bubley，R.、Dyer，M.和Jerrum，M.（1998）。对凸体中采样点过程的初步分析。随机结构算法12 213-235·Zbl 0972.60037号 ·doi:10.1002/（SICI）1098-2418（199805）12:3<213:：AID-RSA1>3.0.CO；2年
[5] Chen，M.F.和Li，S.F.（1989）。多维扩散过程的耦合方法。《概率年鉴》17 151-177·Zbl 0686.60083号 ·doi:10.1214/aop/1176991501
[6] Choi，H.M.和Hobert，J.P.（2013）。贝叶斯逻辑回归的Polya-gamma-Gibbs采样器是一致遍历的。电子。J.Stat.7 2054-2064年·Zbl 1349.60123号 ·doi:10.1214/13-EJS837
[7] 肖邦，N.和里奇韦，J.（2017）。别管Pima Indians:二元回归作为贝叶斯计算的基准。统计师。科学32 64-87·Zbl 1442.62007年 ·doi:10.1214/16-STS581
[8] Dalalyan，A.S.采样和优化之间的进一步和更强有力的类比：Langevin Monte Carlo和梯度下降。第30届学习理论年会论文集。
[9] Dalalyan，A.S.（2017年）。平滑密度和对数曲线密度近似采样的理论保证。J.R.统计社会服务。B.统计方法79 651-676·Zbl 1411.62030号 ·doi:10.1111/rssb.12183
[10] Durmus，A.和Moulines，E。(2017). 未调整Langevin算法的非渐近收敛性分析。附录申请。大约27 1551-1587·Zbl 1377.65007号 ·doi:10.1214/16-AAP1238
[11] Durmus，A.和Moulines，E。（2019）。补充“通过未调整的朗之万算法进行高维贝叶斯推断”。DOI:10.3150/18-BEJ1073SUPP·Zbl 1428.62111号
[12] 连续状态空间上马尔可夫链的定量收缩率。正在准备中·Zbl 1466.60137号 ·doi:10.1214/19-EJP287
[13] Eberle，A.（2016）。扩散的反射耦合和收缩率。普罗巴伯。理论相关领域166 851-886·Zbl 1367.60099号 ·doi:10.1007/s00440-015-0673-1
[14] Eberle，A.、Guillin，A.和Zimmer，R.（2018年）。扩散和McKean-Vlasov过程的定量Harris型定理。事务处理。阿默尔。数学。Soc.出现·Zbl 1481.60154号 ·doi:10.1090/tran/7576
[15] Ermak，D.L.（1975年）。溶液中带电粒子的计算机模拟。I.技术和平衡特性。化学杂志。物理62 4189-4196。
[16] Faes，C.、Ormerod，J.T.和Wand，M.P.（2011年）。缺失数据的参数和非参数回归的变分贝叶斯推断。J.Amer。统计师。协会106 959-971·Zbl 1229.62028号 ·doi:10.1198/jasa.2011.tm10301
[17] Frühwirth-Schnatter，S.和Frü.hwirth，R.（2010）。二进制和多项式逻辑模型的数据增强和MCMC。在统计建模和回归结构111-132。海德堡：Physica-Verlag/Springer·Zbl 1431.62373号
[18] Gramacy，R.B.和Polson，N.G.（2012年）。基于模拟的正则化逻辑回归。贝叶斯分析。7 567-589·Zbl 1330.62301号 ·doi:10.1214/12-BA719
[19] Grenander，U.（1996）。模式理论的要素。约翰·霍普金斯数学科学研究。马里兰州巴尔的摩：约翰·霍普金斯大学出版社·Zbl 0869.68096号
[20] Grenander，U.和Miller，M.I.（1994年）。复杂系统中知识的表示。J.罗伊。统计师。Soc.序列号。B56 549-603。经过讨论和作者的回复·Zbl 0814.62009号 ·doi:10.1111/j.2517-6161.1994.tb02000.x
[21] Hanson，T.E.、Branscum，A.J.和Johnson，W.O.（2014）。信息性\（g\）-逻辑回归的先验。贝叶斯分析。9 597-611·Zbl 1327.62395号
[22] Holmes，C.C.和Held，L.（2006）。二元和多项式回归的贝叶斯辅助变量模型。贝叶斯分析。1 145-168·Zbl 1331.62142号 ·doi:10.1214/06-BA105
[23] Joulin，A.和Ollivier，Y.（2010年）。马尔可夫链蒙特卡罗的曲率、浓度和误差估计。《概率年鉴》38 2418-2442·Zbl 1207.65006号 ·doi:10.1214/10操作系统541
[24] Karatzas，I.和Shreve，S.E.（1991年）。布朗运动与随机微积分，第二版，数学研究生教材113。纽约：斯普林格·Zbl 0734.60060号
[25] Klartag，B.（2007）。凸集的中心极限定理。发明。数学168 91-131·Zbl 1144.60021号 ·doi:10.1007/s00222-006-0028-8
[26] Lamberton，D.和Pagès，G.（2002年）。扩散不变分布的递归计算。伯努利367-405·Zbl 1006.60074号
[27] Lamberton，D.和Pagès，G.（2003年）。扩散不变分布的递归计算：弱平均值恢复漂移的情况。斯托克。第3王朝435-451年·Zbl 1044.60069号 ·doi:10.1142/S0219493703000838
[28] Lindvall，T.和Rogers，L.C.G.（1986年）。通过反射耦合多维扩散。Ann.Probab.14 860-872年·Zbl 0593.60076号 ·doi:10.1214/aop/1176992442
[29] J.C.马丁利、A.M.斯图亚特和D.J.海姆（2002）。SDE和近似的遍历性：局部Lipschitz向量场和退化噪声。随机过程。申请号101 185-232·Zbl 1075.60072号 ·doi:10.1016/S0304-4149（02）00150-3
[30] Neal，R.M.（1993）。通过随机动力学进行贝叶斯学习。《神经信息处理系统进展》5，[NIPS会议]475-482。美国加利福尼亚州旧金山：Morgan Kaufmann Publishers Inc。
[31] Nesterov，Y.（2004）。凸优化入门讲座：基础课程。应用优化87。马萨诸塞州波士顿：Kluwer Academic·兹比尔1086.90045
[32] Parisi，G.（1981年）。相关函数和计算机模拟。核物理。B180 378-384。
[33] Polson，N.G.、Scott，J.G.和Windle，J.（2013）。使用Pólya-Gamma潜在变量的逻辑模型贝叶斯推断。J.Amer。统计师。协会108 1339-1349·Zbl 1283.62055号 ·doi:10.1080/016214519.2013.829001
[34] Roberts，G.O.和Tweedie，R.L.（1996年）。Langevin分布及其离散近似的指数收敛性。伯努利341-363·Zbl 0870.60027号 ·doi:10.2307/3318418
[35] Rossky，P.J.、Doll，J.D.和Friedman，H.L.（1978年）。布朗动力学作为智能蒙特卡罗模拟。化学杂志。物理69 4628-4633。
[36] Sabanés Bové，D.和Held，L.（2011年）。广义线性模型的超（g）先验。贝叶斯分析。6 387-410·兹比尔1330.62058
[37] Talay，D.和Tubaro，L.（1990年）。随机微分方程数值格式的全局误差展开。斯托克。分析。申请8 483-509·Zbl 0718.60058号 ·doi:10.1080/07362999008809220
[38] Villani，C.（2009年）。最佳交通：新旧。Grundlehren der Mathematischen Wissenschaften[数学科学基本原理]338。柏林：斯普林格·Zbl 1156.53003号
[39] Welling，M.和Teh，Y.W.（2011年）。基于随机梯度Langevin动力学的贝叶斯学习。第28届国际机器学习会议（ICML-11）论文集681-688。
[40] Windle，J.、Polson，N.G.和Scott，J.G.（2013年）。贝叶斯logit：贝叶斯逻辑回归。R包版本0.2。可在http://cran.r-project.org/web/packages/BayesLogit/index.html。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。