×

使用显式稳定方法加速近端马尔可夫链蒙特卡罗。 (英语) Zbl 07218335号

摘要:我们提出了一种高效的近端马尔可夫链蒙特卡罗方法来执行成像问题中的贝叶斯计算。与先前的近端蒙特卡罗方法类似,该方法是从朗之万扩散近似导出的。然而,在这里,我们使用最先进的正交Runge-Kutta-Chebyshev随机近似,而不是支撑现有近端蒙特卡罗方法的传统Euler-Maruyama近似[a.Abdulle、I.Aimuslimani和G.Vilmart,SIAM/ASA J.不确定性。数量。,6(2018),第937-964页],其中结合了多个梯度评估以显著加快其收敛速度,类似于加速梯度优化方法。该方法通过一系列数值实验进行了验证,包括非盲图像反褶积、高光谱分解和层析重建,以及全变分和(ell_1)型先验。与欧拉型近端蒙特卡罗方法的比较证实,用我们的方法生成的马尔可夫链具有明显更快的收敛速度,实现了更大的有效样本量,并在相等的计算预算下产生更低的均方估计误差。

MSC公司:

65立方厘米 马尔可夫链的数值分析或方法
68平方英寸10 图像处理的计算方法
2015年1月62日 贝叶斯推断
65C60个 统计中的计算问题(MSC2010)
65J22型 抽象空间反问题的数值解法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] A.Abdulle,显式稳定Runge-Kutta方法,摘自《应用和计算数学百科全书》,纽约斯普林格,2015年,第460-468页。
[2] A.Abdulle、I.Almuslimani和G.Vilmart,刚性和遍历随机微分方程的弱一阶最优显式稳定积分器,SIAM/ASA J.不确定性。数量。,6(2018年),第937-964页·兹比尔1392.65013
[3] A.Abdulle和S.Cirilli,S-ROCK:刚性随机微分方程的Chebyshev方法,SIAM J.Scie。计算。30(2008年),第997-1014页·Zbl 1159.60329号
[4] A.Abdulle、G.Vilmart和K.Zygalakis,遍历SDES不变测度的高阶数值逼近,SIAM J.Numer。分析。52(2014),第1600-1622页·Zbl 1310.65007号
[5] M.V.Afonso、J.M.Bioucas-Dias和M.A.T.Figueiredo,使用可变分割和约束优化的快速图像恢复,IEEE Transa。图像处理。19(2010年),第2345-2356页·Zbl 1371.94018号
[6] S.Arridge、P.Maass、O.O¨ktem和C.-B.Scho¨nlieb,使用数据驱动模型解决反问题,Acta Numer。28(2019),第1-174页·Zbl 1429.65116号
[7] Y.Attchade和A.Bhattacharyya,《高维尖峰和平板后验分布的正则化和计算》,arXiv:1803.10282018。
[8] A.Beck,优化中的一阶方法,MOS-SIAM Ser。最佳方案。25,费城SIAM,2017年·Zbl 1384.65033号
[9] A.Beck和M.Teboulle,线性反问题的快速迭代收缩阈值算法,SIAM J.Imaging Sci。2(2009年),第183-202页·Zbl 1175.94009号
[10] P.Bianchi,A.Salim和S.Schechtman,Passty Langevin,《机器学习会议记录》,法国图卢兹,2019年。
[11] N.Brosse、A.Durmus、M.Pereyra和E.Moulines,《利用近端Langevin Monte Carlo紧密支持的对数曲线分布抽样》,《学习理论会议论文集》,荷兰阿姆斯特丹,2017年。
[12] X.Cai、M.Pereyra和J.D.McEwen,《无线电干涉成像的不确定性量化——I.近距离MCMC方法》,《非月刊》。罗伊。天文学。Soc.,480(2018),第4154-4169页。
[13] Y.Carmon、J.C.Duchi、O.Hinder和A.Sidford,非凸优化的加速方法,SIAM J.Optim。,28(2018),第1751-1772页·Zbl 1400.90250号
[14] L.Chaari、J.Tourneret、C.Chaux和H.Batatia,非光滑能量采样的哈密顿蒙特卡罗方法,IEEE Trans。信号处理。,64(2016),第5585-5594页·Zbl 1414.94856号
[15] A.Chambolle,《总变异最小化算法及其应用》,J.Math。《成像视觉》,20(2004),第89-97页·Zbl 1366.94048号
[16] A.Chambolle和T.Pock,成像连续优化介绍,《数值学报》。,25(2016),第161-319页·Zbl 1343.65064号
[17] A.Durmus、S.Majewski和B.Miasojedow,通过凸优化分析Langevin Monte Carlo,J.Mach。学习。研究。,20(2019),第1-46页·兹比尔1491.65009
[18] A.Durmus和E.Moulines,未调整Langevin算法的非渐近收敛性分析,Ann.应用。概率。,27(2017),第1551-1587页·Zbl 1377.65007号
[19] A.Durmus、E.Moulines和M.Pereyra,通过近端马尔可夫链蒙特卡罗进行的有效贝叶斯计算:当Langevin遇到Moreau时,SIAM J.Imaging Sci。,11(2018),第473-506页·Zbl 1401.65016号
[20] A.Eftekhari、B.Vandereycken、G.Vilmart和K.C.Zygalakis,《快速强凸优化的显式稳定梯度下降》,arXiv:1805.071992018年。
[21] V.Elser、T.Lan和T.Bendory,相位恢复的基准问题,SIAM J.成像科学。,11(2018),第2429-2455页·Zbl 1421.82041号
[22] C.Elvira、P.Chainais和N.Dobigeon,贝叶斯反解析编码,IEEE Transa。信号处理。,65(2017),第1660-1672页·Zbl 1414.94182号
[23] A.Fernandez Vidal、V.De Bortoli、M.Pereyra和A.Durmus,《高维反问题正则化参数的最大似然估计:经验贝叶斯方法》,arXiv:1911.117092019年。
[24] A.Vehtari和A.Gelman以及D.Simpson和B.Carpenter以及P.C.Buörkner,《秩规范化、折叠和局部化:评估MCMC收敛性的改进》,arXiv:1903.080082019年。
[25] C.J.Geyer,实用马尔可夫链蒙特卡罗,统计师。科学。,7(1992年),第473-483页。
[26] M.Girolma和B.Calderhead,Riemann流形Langevin和Hamilton Monte Carlo方法,J.Ro.Stat.Soci。塞里。B统计方法。,73(2011),第123-214页·兹比尔1411.62071
[27] D.J.Higham,《A-稳定性和随机均方稳定性》,BIT,40(2000),第404-409页·Zbl 0961.65003号
[28] D.J.Higham,《随机θ方法的均方和渐近稳定性》,SIAM J.Numer。分析。,38(2000),第753-769页·Zbl 0982.60051号
[29] A.Houdard、C.Bouveyron和J.Delon,无监督图像去噪(HDMI)的高维混合模型,SIAM J.Imaging Sci。,11(2018),第2815-2846页·Zbl 1475.94018号
[30] M.-D.Iordache、J.M.Bioucas-Dias和A.Plaza,稀疏高光谱分解的全变差空间正则化,IEEE Trans。地质科学。遥感,50(2012),第4484-4502页。
[31] J.Kaipio和E.Somersalo,统计和计算反问题,应用。数学。科学。160,Springer,New York,2006年·Zbl 1068.65022号
[32] N.Keshava和J.Mustard,频谱分解,IEEE信号处理。Mag.,19(2002),第44-57页。
[33] P.E.Kloeden和E.Platen,随机微分方程的数值解,应用。数学。23,施普林格,纽约,1992年·Zbl 0752.60043号
[34] F.Luka、N.Huynh、M.Betcke、E.Zhang、P.Beard、B.Cox和S.Arridge,通过同步运动估计增强压缩传感4D光声层析成像,SIAM J.Imaging Sci。,11(2018),第2224-2253页·Zbl 1420.92060
[35] M.-C.Corbineau、D.Kouame、E.Chouzenoux、J.-Y.Tourneret和J.-C.Pesquet,超声图像联合反褶积分段的预处理P-ULA,IEEE信号处理。莱特。,26(2019),第1456-1460页。
[36] Y.Marnissi、A.Benazza-Benyahia、E.Chouzenoux和J.Pesquet,《优化-最小化适应的Metropolis-Hastings算法》。多通道图像恢复的应用,《第22届欧洲信号处理会议论文集》,2014年,第1332-1336页。
[37] Y.Marnissi、E.Chouzenoux、J.Pesquei和A.Benazza-Benyahia,基于Langevin的MCMC算法的辅助变量方法,《IEEE统计信号处理研讨会论文集》,2016年,第1-5页。
[38] M.Pereyra,Proximal Markov chain Monte Carlo算法,统计。计算。,26(2016),第745-760页·兹比尔1505.62315
[39] M.Pereyra,贝叶斯置信区的极大后验估计,SIAM J.Imaging Sci。,10(2017年),第285-302页·Zbl 1375.94024号
[40] M.Pereyra、P.Schniter、E.Chouzenoux、J.-C.Pesquet、J.-Y.Tourneret、A.O.Hero和S.McLaughlin,《信号处理中随机模拟和优化方法的调查》,IEEE J.《信号处理选论》。,10(2016年),第224-241页。
[41] A.Repetti、M.Pereyra和Y.Wiaux,通过凸优化实现成像逆问题中的可缩放贝叶斯不确定性量化,SIAM J.成像科学。,12(2019年),第87-118页·Zbl 1429.94022号
[42] C.Robert,《贝叶斯选择:从决策理论基础到计算实现》,Springer,纽约,2007年·Zbl 1129.62003号
[43] G.O.Roberts和R.L.Tweedie,Langevin分布及其离散近似的指数收敛性,Bernoulli,2(1996),第341-363页·Zbl 0870.60027号
[44] Y.Romano、M.Elad和P.Milanfar,《能够做到的小引擎:通过去噪进行正则化(RED)》,SIAM J.Imaging Sci。,10(2017年),第1804-184页·Zbl 1401.62101号
[45] L.I.Rudin、S.Osher和E.Fatemi,基于非线性总变差的噪声去除算法,物理。D、 60(1992年),第259-268页·Zbl 0780.49028号
[46] M.Vono、N.Dobigeon和P.Chainais,《使用分裂和增强吉布斯采样器的稀疏贝叶斯二元逻辑回归》,摘自《IEEE第28届信号处理机器学习国际研讨会论文集》,2018年,第1-6页。
[47] M.Vono、N.Dobigeon和P.Chainais,泊松噪声和对数压缩先验下的贝叶斯图像恢复,《IEEE声学、语音和信号处理国际会议论文集》,2019年,第1712-1716页。
[48] M.Vono、N.Dobigeon和P.Chainais,《分裂和增强吉布斯采样器——大规模推理问题的应用》,IEEE Trans。关于信号处理。,67(2019),第1648-1661页·Zbl 1415.94375号
[49] M.Vono、D.Paulin和A.Doucet,使用ADMM-型分裂的无量纲收敛率的有效MCMC采样,p.arXiv:1905.119372019。
[50] A.Wibisono、A.C.Wilson和M.I.Jordan,优化中加速方法的变分观点,Proc。美国国家科学院。科学。,113(2016),第E7351-E7358页·Zbl 1404.90098号
[51] D.Wipf和H.Zhang,《重新审视贝叶斯盲反褶积》,J.Mach。学习。Res.,15(2014),第3775-3814页·Zbl 1312.94012号
[52] J.Ye、Y.Han和E.Cha,深度卷积框架:反问题的一般深度学习框架,SIAM J.Imaging Sci。,11(2018),第991-1048页·Zbl 1401.94024号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。