阿娜·费尔南德斯·维达尔;瓦伦丁·德博托利;马塞洛·佩雷拉;阿兰·杜尔姆斯 高维反问题中正则化参数的最大似然估计：经验贝叶斯方法。一： 方法和实验。 （英语） Zbl 1457.94014号 SIAM J.成像科学。 1945-1989年第4期第13页（2020年）. 小结：许多成像问题都需要解决条件不好或不适定的逆问题。成像方法通常通过将估计问题正则化以使其适定性来解决这一困难。这通常需要设置所谓的正则化参数的值，以控制强制的正则化量。众所周知，这些参数很难预先设定，并且可能会对恢复的估计值产生重大影响。在这项工作中，我们提出了一种通用的经验贝叶斯方法，用于设置针对未知图像的凸成像问题的正则化参数。我们的方法通过最大边缘似然估计直接从观测数据校准正则化参数，并且可以同时估计多个正则化参数。此外，该算法使用与近端优化算法相同的基本操作符，即梯度和近端操作符，因此很容易应用于当前使用近端优化技术解决的问题。我们的方法通过一系列实验进行了验证，并与文献中的其他方法进行了比较。考虑的实验包括图像去噪、非盲图像反褶积和高光谱解混，使用包含（ell_1）、总变分、总变分和（ell_1\）以及总广义变分伪范数的合成和分析先验。我们的配套论文中对所提出的方法进行了详细的理论分析[同上13，No.4，1990-2028（2020；Zbl 1457.94011号)]. 引用于1审查引用于12文件 MSC公司： 94A08型 信息与通信理论中的图像处理（压缩、重建等） 68平方英寸10 图像处理的计算方法 2015年1月62日 贝叶斯推断 65二氧化碳 蒙特卡罗方法 关键词：图像处理;反问题;统计推断;经验贝叶斯;随机优化;马尔可夫链蒙特卡罗方法;近似算法 引文：Zbl 1457.94011号 软件：取消锁定BoX PDF格式BibTeX公司 XML格式引用 \textit｛A.Fernandez-Vidal｝等人，SIAM J.成像科学。1945年4月13日至1989年（2020年；兹bl 1457.94014） 全文： 内政部 arXiv公司 参考文献： [1] M.V.Afonso、J.M.Bioucas-Dias和M.A.Figueiredo，使用可变分割和约束优化的快速图像恢复，IEEE Trans。图像处理。，19（2010年），第2345-2356页·Zbl 1371.94018号 [2] M.S.Almeida和M.A.Figueiredo，使用剩余白度测量进行盲和非盲去模糊的参数估计，IEEE Trans。图像处理。，22（2013），第2751-2763页·Zbl 1373.94018号 [3] S.Arridge、P.Maass、O.O¨ktem和C.-B.Scho¨nlieb，《使用数据驱动模型解决反问题》，《数值学报》。，28（2019），第1-174页·Zbl 1429.65116号 [4] Y.F.Atchadeí，Methodol Metropolis调整Langevin算法的自适应版本，具有截断漂移。计算。申请。概率。，8（2006年），第235-254页·兹比尔1104.65004 [5] Y.F.Atchadeí，经验贝叶斯推断的计算框架，统计计算。，21（2011），第463-473页·Zbl 1221.62014年 [6] Y.F.Atchadeí、G.Fort和E.Moulines，《关于扰动近端梯度算法》，J.Mach。学习。第18号决议（2017年），第310-342页·Zbl 1433.90199号 [7] S.D.Babacan、R.Molina和A.K.Katsaggelos，使用变分分布近似进行电视图像恢复中的参数估计，IEEE Trans。图像处理。，17（2008），第326-339页。 [8] S.D.Babacan、R.Molina和A.K.Katsaggelos，变分贝叶斯超分辨率，IEEE Trans。图像处理。，20（2011年），第984-999页·Zbl 1372.94014号 [9] F.R.Bach和E.Moulines，机器学习随机近似算法的非症状分析，摘自《神经信息处理系统的进展》，第24期：第25届神经信息处理体系年会，西班牙格拉纳达，2011年，第451-459页。 [10] H.H.Bauschke和P.L.Combettes，Hilbert空间中的凸分析和单调算子理论，第二版，CMS图书数学/Ouvrages数学。SMC，施普林格，查姆，2017年，https://doi.org/10.1007/978-3-319-48311-5。 ·Zbl 1359.26003号 [11] F.Benvenuto和C.Campi，基于风险最小化的Landweber迭代的差异原则，应用。数学。莱特。，96（2019），第1-6页，https://doi.org/10.1016/j.aml.2019.04.005。 ·Zbl 1429.65118号 [12] S.Bobkov和M.Madiman，对数曲线分布数据中信息的集中，Ann.Probab。，39（2011），第1528-1543页，https://doi.org/10.1214/10-AOP592。 ·Zbl 1227.60043号 [13] L.Bottou，《随机梯度下降技巧》，摘自《神经网络：交易技巧》，施普林格，查姆，2012年，第421-436页。 [14] K.Bredies、K.Kunisch和T.Pock，总广义变异，SIAM J.成像科学。，3（2010），第492-526页，https://doi.org/10.1137/090769521。 ·兹比尔1195.49025 [15] L.Calatroni、C.Cao、J.C.De Los Reyes、C.-B.Schonlieb和T.Valkonen，变分成像模型学习的双层方法，收录于《变分方法》，Radon Ser。计算。申请。数学。18，De Gruyter，柏林，2017年，第252-290页·Zbl 1468.94014号 [16] D.Calvetti、S.Morigi、L.Reichel和F.Sgallari，Tikhonov正则化和大型离散不适定问题的L曲线，J.Compute。申请。数学。，123（2000），第423-446页·Zbl 0977.65030号 [17] D.Calvetti、M.Pragliola、E.Somersalo和A.Strang，《基于少量噪声数据的稀疏重建：具有广义伽马超验的分层贝叶斯模型分析》，《逆向问题》，36（2020），025010·Zbl 1464.62365号 [18] D.Calvetti和E.Somersalo，贝叶斯成像框架中的超模型，反问题，24（2008），034013·Zbl 1137.62062号 [19] D.Calvetti、E.Somersalo和A.Strang，层次贝叶斯模型和稀疏性：魔术，反问题，35（2019），035003·Zbl 1490.62078号 [20] B.P.Carlin和T.A.Louis，《经验贝叶斯：过去、现在和未来》，J.Amer。统计师。协会，95（2000），第1286-1289页，https://doi.org/10.2307/2669771。 ·Zbl 1072.62511号 [21] A.Chambolle和P.-L.狮子，通过总变异最小化和相关问题恢复图像，Numer。数学。，76（1997），第167-188页·Zbl 0874.68299号 [22] A.Chambolle和T.Pock，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。《成像视觉》，40（2011），第120-145页·Zbl 1255.68217号 [23] A.Chambolle和T.Pock，成像连续优化介绍，《数值学报》。，25（2016），第161-319页·Zbl 1343.65064号 [24] P.L.Combettes和J.-C.Pesquet，《信号处理中的近距离分裂方法》，载于《科学与工程中反问题的定点算法》，施普林格，纽约，2011年，第185-212页·Zbl 1242.90160号 [25] L.Condat，MATLAB总广义变差去噪代码，2016，https://lcondat.github.io/download/TGVnowerate.m（2020年10月22日访问）。 [26] V.De Bortoli、D.Alain、M.Pereyra和A.F.Vidal，高维反问题正则化参数的最大似然估计：经验贝叶斯方法第二部分：理论分析，SIAM J.成像科学。，13（2020），第1990-2028页，https://doi.org/10.1137/20M1339842。 ·Zbl 1457.94011号 [27] V.De Bortoli、A.Durmus、M.Pereyra和A.F.Vidal，《利用未调整的Langevin Monte Carlo进行高效随机优化》。应用于最大边际似然和经验贝叶斯估计，预印本，https://arxiv.org/abs/11906.12281, 2019. [28] C.-A.Deledalle、S.Vaiter、J.Fadili和G.Peyré，用于多参数选择的Stein无偏GrAdient风险估计量（SUGAR），SIAM J.Imaging Sci。，7（2014），第2448-2487页，https://doi.org/10.1137/10968045。 ·Zbl 1361.94012号 [29] R.Douc、E.Moulines和D.Stoffer，《非线性时间序列：理论、方法和应用与R示例》，查普曼和霍尔/CRC，佛罗里达州博卡拉顿，2014年·Zbl 1306.62026号 [30] A.Durmus，Eá。Moulines和M.Pereyra，《利用近端马尔可夫链蒙特卡罗进行高效贝叶斯计算：当朗之万遇到莫罗时》，SIAM J.成像科学。，11（2018），第473-506页，https://doi.org/10.1137/16M1108340。 ·Zbl 1401.65016号 [31] Y.C.Eldar，指数族的广义SURE：正则化应用，IEEE Trans。信号处理。，57（2009），第471-481页·Zbl 1391.62131号 [32] H.W.Engl、M.Hanke和A.Neubauer，反问题的正则化，数学。申请。375，荷兰多德雷赫特Kluwer学术出版社，1996年·Zbl 0859.65054号 [33] G.Fort、E.Ollier和A.Samson，惩罚混合模型的随机近似粒度算法，统计计算。，29（2019），第231-253页·Zbl 1430.62153号 [34] R.Giryas、M.Elad和Y.C.Eldar，迭代收缩法中自动参数调整的投影GSURE，应用。计算。哈蒙。分析。，30（2011年），第407-422页·Zbl 1210.94015号 [35] G.H.Golub、M.Heath和G.Wahba，广义交叉验证作为选择良好岭参数的方法，技术计量学，21（1979），第215-223页·Zbl 0461.62059号 [36] P.J.Green、K.Latuszyn⁄ski、M.Pereyra和C.P.Robert，《贝叶斯计算：当前状态的总结以及向后和向前的样本》，《统计计算》。，25（2015），第835-862页·Zbl 1331.62017年 [37] P.C.Hansen和D.P.O'Leary，《L曲线在离散病态问题正则化中的应用》，SIAM J.Sci。计算。，14（1993），第1487-1503页，https://doi.org/10.1137/0914086。 ·兹比尔0789.65030 [38] M.-D.Iordache、J.M.Bioucas-Dias和A.Plaza，稀疏高光谱分解的全变差空间正则化，IEEE Trans。地质科学。《遥感》，50（2012），第4484-4502页。 [39] J.Kaipio和E.Somersalo，统计和计算反问题，应用。数学。科学。160，Springer-Verlag，纽约，2006年·Zbl 1068.65022号 [40] B.Knapik、B.Szaboí、A.van der Vaart和J.van Zanten，白噪声模型逆问题中自适应推理的Bayes程序，Probab。理论相关领域，164（2016），第771-813页·兹比尔1334.62039 [41] K.Kunisch和T.Pock，变分模型中参数学习的双层优化方法，SIAM J.Imaging Sci。，6（2013），第938-983页，https://doi.org/10.1137/120882706。 ·Zbl 1280.49053号 [42] A.Lanza、S.Morigi、M.Pragliola和F.Sgallari，用于图像恢复的空间变量电视正则化，欧洲应用科学与工程计算方法大会，查姆施普林格，2017年，第160-169页。 [43] A.Lanza、S.Morigi、F.Sgallari和A.J.Yezzi，基于自相关白度的变分图像去噪，SIAM J.成像科学。，6（2013），第1931-1955页，https://doi.org/10.1137/120885504。 ·Zbl 1279.68330号 [44] C.L.Lawson和R.J.Hanson，解决最小二乘问题，SIAM，费城，1995年，https://doi.org/10.1137/1.9781611971217。 ·Zbl 0860.65029号 [45] F.Lucka、K.Proksch、C.Brune、N.Bissantz、M.Burger、H.Dette和F.Wuöbbeling，在不适定问题中选择正则化参数的风险估计器-性质和限制，逆问题。《成像》，12（2018），第1121-1155页·Zbl 06945044号 [46] Y.Marnissi，Y.Zheng，E.Chouzenoux和J.-C.Pesquet，图像恢复的变分贝叶斯方法/应用于泊松-高斯噪声图像去模糊，IEEE Trans。计算。《成像》，3（2017），第722-737页。 [47] R.Molina、A.K.Katsaggelos和J.Mateos，图像恢复中超参数估计的贝叶斯和正则化方法，IEEE Trans。图像处理。，8（1999），第231-246页·Zbl 1098.94509号 [48] V.Monga，成像科学凸优化方法手册，Springer，Cham，2017年·Zbl 1381.90001号 [49] V.A.Morozov，《解决不正确问题的方法》，Springer-Verlag出版社，纽约，2012年。 [50] R.M.Neal，神经网络贝叶斯学习，统计学课堂讲稿。纽约施普林格-弗拉格118号，2012年。 [51] M.Pereyra，近似马尔可夫链蒙特卡罗算法，统计计算。，26（2016），第745-760页·Zbl 1505.62315号 [52] M.Pereyra，《对数回归模型中的最大后验估计》，SIAM J.Imaging Sci。，12（2019年），第650-670页，https://doi.org/10.1137/18M1174076。 [53] M.Pereyra、J.M.Bioucas-Dias和M.A.Figueiredo，未知调节参数的最大后验估计，第23届欧洲IEEE信号处理会议（EUSIPCO）论文集，2015年，第230-234页。 [54] M.Pereyra、N.Dobigeon、H.Batatia和J.-Y.Tourneret，在马尔可夫链蒙特卡罗算法中估计Potts-Markov随机场的粒度系数，IEEE Trans。图像处理。，22（2013），第2385-2397页·Zbl 1383.62210号 [55] M.Pereyra、N.Dobigeon、H.Batatia和J.-Y.Tourneret，计算马尔可夫随机场参数的Cramer-Rao界：在Ising和Potts模型中的应用，IEEE信号处理。莱特。，21（2014），第47-50页。 [56] M.Pereyra、P.Schniter、E.Chouzenoux、J.-C.Pesquet、J.-Y.Tourneret、A.O.Hero和S.McLaughlin，《信号处理中随机模拟和优化方法的调查》，IEEE J.Sel。主题信号。工艺。，10（2016），第224-241页。 [57] J.-C.Pesquet、A.Benaza Benyahia和C.Chaux，数字信号/图像去卷积问题的SURE方法，IEEE Trans。信号处理。，57（2009），第4616-4632页·Zbl 1392.94041号 [58] S.Petrone、J.Rousseau和C.Scricciolo，《贝叶斯和经验贝叶斯：他们合并了吗？》？，《生物特征》，101（2014），第285-302页，https://doi.org/10.1093/biomet/ast067。 ·Zbl 1452.62148号 [59] A.Rakhlin、O.Shamir和K.Sridharan，使梯度下降对强凸随机优化最优，预印本，https://arxiv.org/abs/1109.5647, 2011. [60] H.Robbins，《统计的经验贝叶斯方法》，载于《精选论文》，Springer-Verlag，纽约，1985年，第41-47页。 [61] C.Robert，《贝叶斯选择：从决策理论基础到计算实现》，Springer，纽约，2007年·Zbl 1129.62003号 [62] C.P.Robert和G.Casella，蒙特卡洛统计方法，第二版，Springer-Verlag，纽约，2004年·Zbl 1096.62003年 [63] J.Rousseau和B.Szabo，与最大边际似然估计相关的经验Bayes后验函数的渐近行为，Ann.Statist。，45（2017），第833-865页，https://doi.org/10.1214/16-AOS1469。 ·Zbl 1371.62048号 [64] T.Sanders、R.B.Platte和R.D.Skeel，正则化反问题中自动参数选择的有效新方法，应用。数字。数学。，152（2020年），第29-48页·Zbl 1440.65032号 [65] M.Simo͂es、J.Bioucas-Dias、L.B.Almeida和J.Chanussot，通过基于子空间的正则化实现高光谱图像超分辨率的凸公式，IEEE Trans。地质科学。《遥感》，53（2015），第3373-3388页。 [66] M.E.Tipping，稀疏贝叶斯学习和相关向量机，J.Mach。学习。Res.，1（2001），第211-244页·Zbl 0997.68109号 [67] M.E.Tipping和A.C.Faul，稀疏贝叶斯模型的快速边际似然最大化，第九届人工智能与统计国际研讨会论文集，2003年。 [68] C.Van Chung、J.De los Reyes和C.Schonlieb，在全变分图像去噪中学习最佳空间相关正则化参数，反问题，33（2017），074005·Zbl 1371.49018号 [69] A.W.Van der Vaart，《渐近统计》，剑桥。序列号。Stat.遗嘱认证。数学。3，剑桥大学出版社，英国剑桥，2000年·Zbl 0943.6202号 [70] L.Vargas、M.Pereyra和K.C.Zygalakis，使用显式稳定方法加速近似马尔可夫链蒙特卡罗，预印本，https://arxiv.org/abs/1908.08845, 2020. ·Zbl 07218335号 [71] A.F.Vidal和M.Pereyra，正则化参数的最大似然估计，《第25届IEEE图像处理国际会议（ICIP）论文集》，2018年，第1742-1746页。 [72] H.White，错误指定模型的最大似然估计，《计量经济学》，50（1982），第1-25页·Zbl 0478.62088号 [73] M.V.Zibetti，F.S.Bazán和J.Mayer，确定超分辨率问题的正则化参数，信号处理。，88（2008），第2890-2901页·Zbl 1151.94444号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。