马里奥·冈萨雷斯;安德雷斯·阿尔曼萨;Pauline Tan 通过联合后验最大化和先验自动编码求解反问题。 （英语） Zbl 07567489号 SIAM J.成像科学。 第2号，第15页，第822-859页（2022）. 小结：在这项工作中，我们解决了成像中的不适定逆问题，其中先验是变分自动编码器（VAE）。特别地，我们考虑了解耦的情况，其中先验信息只需训练一次，就可以在无需再训练的情况下重用于许多不同的对数曲线退化模型。尽管以前基于MAP的方法会导致高度非凸优化算法，但我们的方法会计算联合（空间相关）MAP，这自然会导致交替优化算法和使用随机编码器来加速计算。由此产生的技术（JPMAP）使用自动编码先验信息执行联合后验最大化。我们从理论和实验上证明了所提出的目标函数非常接近于双凸。事实上，它满足一个弱双凸性质，这足以保证我们的优化方案收敛到一个稳定点。我们还强调了使用去噪准则正确训练VAE的重要性，以确保编码器能够很好地推广到分布外图像，而不会影响生成模型的质量。这个简单的修改是为整个过程提供健壮性的关键。最后，我们展示了我们的联合MAP方法与更常见的MAP方法之间的关系，并提出了一种延续方案，该方案利用我们的JPMAP算法来提供更稳健的MAP估计。实验结果还表明，与其他经常陷入虚假局部最优的非凸MAP方法相比，我们的JPMAP方法获得的解的质量更高。 引用于三文件 MSC公司： 65D18天 计算机图形、图像分析和计算几何的数值方面 65K10码 数值优化和变分技术 68T05型 人工智能中的学习和自适应系统 90C26型 非凸规划，全局优化 90C25型 凸面编程 90立方 非线性规划 关键词：图像复原;反问题;双凸优化;贝叶斯统计学;生成模型;变分自动编码器 软件：NVAE公司;DnCNN公司;ImageNet公司;AlexNet公司;脉冲;FFD网络;PyTorch公司;github PDF格式BibTeX公司 XML格式引用 \textit{M.González}等人，SIAM J.成像科学。15，编号2，822--859（2022；Zbl 07567489） 全文： DOI程序 arXiv公司 参考文献： [1] C.Aguerrebere、A.Almansa、J.Delon、Y.Gousseau和P.Muse，联合图像去噪和插值的贝叶斯超验方法，及其在HDR成像中的应用，IEEE Trans。计算。《成像》，3（2017），第633-646页，https://doi.org/10.109/TCI.2017.2704439。 [2] M.Benning、F.Knoll、C.B.Scho¨nlieb和T.Valkonen，带非线性算子约束的预处理ADMM，IFIP高级信息通信。技术。，494（2016），第117-126页，https://doi.org/10.1007/978-3-319-55795-3_10。 [3] U.Bergmann、N.Jetchev和R.Vollgraf，《利用周期空间GAN学习纹理流形》，《机器学习国际会议论文集》，2017年，第722-730页。 [4] S.A.Bigdeli、M.Jin、P.Favaro和M.Zwicker，图像恢复的深度Mean-Shift先验，神经信息处理系统进展，2017年，第763-772页，http://papers.nips.cc/paper/6678-deep-mean-shift-priors-for-image-restoration。 [5] S.A.Bigdeli和M.Zwicker，《使用自动编码先验进行图像恢复》，技术报告，https://arxiv.org/abs/1703.09964, 2017. [6] A.Bora、A.Jalal、E.Price和A.G.Dimakis，使用生成模型的压缩感知，《机器学习国际会议论文集》，第2卷，JMLR，2017年，第537-546页。 [7] K.Bredies、K.Kunisch和T.Pock，总广义变异，SIAM J.成像科学。，3（2010年），第492-526页，https://doi.org/10.1137/090769521。 ·Zbl 1195.49025号 [8] J.Brehmer和K.Cranmer，同时流形学习和密度估计的流程，http://arxiv.org/abs/2003.13913, 2020. [9] G.T.Buzzard、S.H.Chan、S.Sreehari和C.A.Bouman，即插即用：使用共识平衡进行无优化重建，SIAM J.Imaging Sci。，11（2018），第2001-2010页·Zbl 1419.94002号 [10] A.Chambolle，《总变异最小化算法及其应用》，J.Math。《成像视觉》，20（2004），第89-97页，https://doi.org/10.1023/B:JMIV.0000011326760.1e。 ·Zbl 1366.94048号 [11] S.H.Chan、X.Wang和O.A.Elgendy，用于图像恢复的即插即用ADMM：定点收敛和应用，IEEE Trans。计算。成像，3（2017），第84-98页，https://doi.org/10.109/TCI.2016.2629286。 [12] Y.Chen和T.Pock，可训练非线性反应扩散：快速有效图像恢复的灵活框架，IEEE Trans。《模式分析机器智能》，39（2017），第1256-1272页，https://doi.org/10.1109/TPAMI.2016.2596743。 [13] R.Child，《非常深入的VAE》概括了自回归模型，并在图像上优于它们，载于ICLR，2020年，第1-17页，https://openreview.net/forum？id=RLRXCV6DbEJ。 [14] D.-A.Clevert、T.Unterthiner和S.Hochreiter，通过指数线性单元（ELU）进行快速准确的深度网络学习，发表在ICLR论文集，2016年。 [15] R.Cohen、M.Elad和P.Milafar，通过不动点投影去噪的正则化（RED-PRO），http://arxiv.org/abs/2008.00226, 2020. ·Zbl 1474.94011号 [16] B.Dai和D.Wipf，诊断和增强VAE模型，载《ICLR会议记录》（2019年），第1-42页，https://openreview.net/forum？id=B1e0X3C9tQ。 [17] G.Dal Maso，《（Gamma）-融合简介》，Birkha用户波士顿，马萨诸塞州波士顿，1993年，https://doi.org/10.1007/978-1-4612-0327-8。 ·Zbl 0816.49001号 [18] S.Diamond、V.Sitzmann、F.Heide和G.Wetzstein，《具有深度先验的未滚动优化》，https://arxiv.org/abs/1705.08041, 2017. [19] J.Donahue和K.Simonyan，《大规模对手表征学习》，http://arxiv.org/abs/1907.02544, 2019. [20] C.Dong、C.C.Loy、K.He和X.Tang，《学习深度卷积网络实现图像超分辨率》，《欧洲计算机视觉会议论文集》，纽约斯普林格，2014年，第184-199页。 [21] D.Donoho，《软阈值去噪》，IEEE Trans。通知。《理论》，41（1995），第613-627页，https://doi.org/10.109/18.382009。 ·Zbl 0820.62002号 [22] M.Elad，《稀疏和冗余表示：从理论到信号和图像处理应用》，Springer，纽约，2010年，https://doi.org/10.1007/978-1-4419-7011-4。 ·Zbl 1211.94001号 [23] H.Gao、X.Tao、X.Shen和J.Jia，利用参数选择性共享和嵌套跳跃连接进行动态场景去模糊，《IEEE计算机视觉和模式识别会议论文集》，2019年，第3848-3856页。 [24] M.Gharbi、G.Chaurasia、S.Paris和F.Durand，深度联合去噪，ACM Trans。Graphics，35（2016），191。 [25] G.Gilboa和S.Osher，图像处理应用的非局部算子，多尺度模型。模拟。，7（2008），第1005-1028页，https://doi.org/10.1137/070698592。 ·Zbl 1181.35006号 [26] D.Gilton、G.Ongie和R.Willett，成像逆问题的Neumann网络，https://arxiv.org/abs/1901.03707, 2019. [27] J.Gorski、F.Pfeuffer和K.Klamroth，《双凸集与双凸函数优化：调查与扩展》，数学。方法操作。研究，66（2007），第373-407页，https://doi.org/10.1007/s00186-007-0161-1。 ·Zbl 1146.90495号 [28] K.Gregor和Y.LeCun，学习稀疏编码的快速近似，第27届国际机器学习会议论文集，Omnipress，2010年，第399-406页。 [29] H.Gupta、K.H.Jin、H.Q.Nguyen、M.T.McCann和M.Unser，基于CNN的投影梯度下降用于一致性CT图像重建，IEEE医学成像学报，37（2018），第1440-1453页，https://doi.org/10.109/TMI.2018.2832656。 [30] P.Hand和V.Voroninski，通过经验风险实施深层生成性先验的全球保障，IEEE Trans。通知。《理论》，66（2020），第401-418页，https://doi.org/10.109/TIT.2019.2935447。 ·兹比尔1433.94024 [31] L.Helminger、M.Bernasconi、A.Djelouah、M.Gross和C.Schroers，《基于流的先验的盲图像恢复》，技术报告，http://arxiv.org/abs/2009.04583, 2020. [32] W.Huang、P.Hand、R.Heckel和V.Voroninski，随机生成优先级下压缩传感的可证明收敛方案，http://arxiv.org/abs/1812.04176, 2018. ·Zbl 1460.94023号 [33] D.J.Im、S.Ahn、R.Memisevic和Y.Bengio，变分自动编码框架的去噪标准，《第31届AAAI人工智能会议论文集》，2017年，第2059-265页。 [34] U.S.Kamilov、H.Mansour和B.Wohlberg，解决非线性成像逆问题的即插即用先验方法，IEEE信号处理。莱特。，24（2017），第1872-1876页。 [35] T.Karras、T.Aila、S.Laine和J.Lehtinen，GANs的渐进生长以提高质量、稳定性和变异性，《ICLR学报》，2017年，第327-331页，https://openreview.net/forum？id=Hk99zCeAb, https://arxiv.org/abs/1710.10196。 [36] D.P.Kingma和M.Welling，《自动编码变分贝叶斯》，载《ICLR学报》，2013年，第1-14页，https://doi.org/101051/0004-6361/201527329。 ·Zbl 1431.68002号 [37] A.Krizhevsky、I.Sutskever和G.E.Hinton，深度卷积神经网络的Imagenet分类，《神经信息处理系统进展》，2012年，第1097-1105页。 [38] F.Latorre、A.Eftekhari、V.Cevher、F.L.Goímez、A.Eft ekhari和V.Cev her，《利用生成性先验学习的快速可证明ADMM》，《神经信息处理系统进展》，32，H.Wallach、H.Larochelle、A.Beygelzimer、F.d’Alcheí-Buc、E.Fox和R.Garnett编辑，Curran Associates，2019年，https://papers.nips.cc/paper/2019/hash/4559912e7a94a9c32b09d894f2bc3c82-Abstract.html。 [39] R.Laumont、V.De Bortoli、A.Almansa、J.Delon、A.Durmus和M.Pereyra，《关于即插即用先验和随机梯度下降的最大后验估计》，https://hal.archives-ouvertes.fr/hal-03348735, 2021. [40] Y.Lecun、L.Bottou、Y.Bengio和P.Haffner，基于梯度的学习应用于文档识别，Proc。IEEE，86（1998），第2278-2324页，https://doi.org/10.109/5.726791。 [41] Y.Liu、S.Anwar、Z.Qin、P.Ji、S.Caldwell和T.Gedeon，从图像中分离噪声：基于流的图像去噪神经网络，https://arxiv.org/abs/2105.04746v1, 2021. [42] Z.Liu、P.Luo、X.Wang和X.Tang，《野外深度学习面部特征》，《计算机视觉国际会议论文集》，2015年。 [43] C.Louchet和L.Moisan，总变异模型的后验期望：特性和实验，SIAM J.成像科学。，6（2013），第2640-2684页，https://doi.org/10.1137/120902276。 ·Zbl 1279.68333号 [44] J.Lucas、G.Tucker、R.Grosse和M.Norouzi，不要责怪ELBO！关于后部塌陷的线性VAE观点，见《神经信息处理系统进展》，2019年第32卷。 [45] T.Meinhardt、M.Moller、C.Hazirbas和D.Cremers，《学习近端算子：使用去噪网络正则化逆成像问题》，《计算机视觉国际会议论文集》，2017年，第1781-1790页，https://doi.org/10.109/ICCV.2017.198。 [46] S.Menon、A.Damian、S.Hu、N.Ravi和C.Rudin，《PULSE:通过生成模型的潜在空间探索进行自我监督照片上采样》，《IEEE计算机视觉和模式识别会议论文集》，2020年，第2434-2442页，https://doi.org/10.109/CVPR42600.2020.00251。 [47] T.Oberlin和M.Verm，通过深层生成模型进行正则化：一个分析观点，http://arxiv.org/abs/2101.08661, 2021. [48] G.Papamakarios、E.Nalisnick、D.J.Rezende、S.Mohamed和B.Lakshminarayanan，概率建模和推理的归一化流，https://arxiv.org/abs/11912.02762, 2019. ·Zbl 07370574号 [49] A.Paszke、S.Gross、S.Chintala、G.Chanan、E.Yang、Z.DeVito、Z.Lin、A.Desmaison、L.Antiga和A.Lerer，PyTorch中的自动区分，2017，https://autodiff-workshop.github.io/。 [50] M.Pereyra，近似马尔可夫链蒙特卡罗算法，统计计算。，26（2016），第745-760页，https://doi.org/10.1007/s11222-015-9567-4。 ·Zbl 1505.62315号 [51] J.-C.Pesquet、A.Repetti、M.Terris和Y.Wiaux，学习图像恢复的最大单调算子，http://arxiv.org/abs/2012.13247, 2020. ·Zbl 1479.47058号 [52] Y.Pu，W.Wang，R.Henao，L.Chen，Z.Gan，C.Li，和L.Carin，对抗对称变分自动编码器，《神经信息处理系统进展》，2017年，第4331-4340页。 [53] Y.Pu，W.Wang，R.Henao，L.Chen，Z.Gan，C.Li，和L.Carin，对抗对称变分自动编码器，《神经信息处理系统进展》，2017年，第4331-4340页。 [54] A.Radford、L.Metz和S.Chintala，《深度卷积生成对抗网络的无监督表征学习》，预印本，arXiv:1511.064342015年。 [55] N.Rahaman、A.Baratin、D.Arpit、F.Draxler、M.Lin、F.Hamprecht、Y.Bengio和A.Courville，《神经网络的谱偏差》，《机器学习国际会议论文集》，PMLR，2019年，第5301-5310页。 [56] A.Raj、Y.Li和Y.Bresler，基于GAN的投影仪，用于线性反问题中具有收敛保证的快速恢复，《计算机视觉国际会议论文集》，IEEE，2019年，第5601-5610页，https://doi.org/10.109/ICCV.2019.00570。 [57] E.T.Reehorst和P.Schniter，通过去噪进行正则化：澄清和新解释，IEEE Trans。计算。《成像》，第5期（2018年），第52-67页，https://doi.org/10.109/TCI.2018.2880326。 [58] Y.Romano、M.Elad和P.Milanfar，《能够做到的小引擎：通过去噪进行正则化（RED）》，SIAM J.Imaging Sci。，10（2017年），第1804-1844页·Zbl 1401.62101号 [59] L.I.Rudin、S.Osher和E.Fatemi，基于非线性总变差的噪声去除算法，物理。D、 60（1992），第259-268页，https://doi.org/10.1016/0167-2789（92）90242-F·Zbl 0780.49028号 [60] E.K.Ryu、J.Liu、S.Wang、X.Chen、Z.Wang和W.Yin，即插即用方法可证明与经过适当训练的去噪器收敛，《第36届机器学习国际会议论文集》，加利福尼亚州长滩，2019年，第5546-5557页，http://proceedings.mlr.press/v97/ryu19a.html。 [61] M.S.M.Sajjadi、O.Bachem、M.Lucic、O.Bousquet和S.Gelly，《通过精确性和召回评估生成模型》，神经信息处理系统，2018年。 [62] E.Schwartz、R.Giryas和A.M.Bronstein，《DeepISP：学习端到端图像处理管道》，IEEE Trans。图像处理，28（2018），第912-923页·Zbl 1409.94533号 [63] V.Shah和C.Hegde，《使用Gan先验值求解线性反问题：具有可证明保证的算法》，载于2018年IEEE声学、语音和信号处理国际会议论文集，2018年，第4609-4613页。 [64] S.Sreehari、S.V.Venkatakrishnan、B.Wohlberg、G.T.Buzzard、L.F.Drummy、J.P.Simmons和C.A.Bouman，亮场电子层析成像和稀疏插值的即插即用先验，IEEE Trans。计算成像，2（2016），https://doi.org/10.109/TCI.2016.2599778。 [65] A.M.Teodoro、J.M.Bioucas Dias和M.A.T.Figueiredo，《具有保证收敛性的场景自适应即插即用算法：在成像数据融合中的应用》，https://arxiv.org/abs/18801.00605, 2018. [66] M.Terris、A.Repetti、J.C.Pesquet和Y.Wiaux，构建牢固的非扩张卷积神经网络，《2020年IEEE声学、语音和信号处理国际会议论文集》，第8658-8662页，https://doi.org/10.1109/ICSP40776.2020.9054731。 [67] A.N.Tikhonov，《关于不适定问题的正则化》，Dokl。阿卡德。Nauk SSSR，39（1943），第195-198页。 [68] Tseng和D.P.Bertsekas，关于凸规划指数乘数方法的收敛性，数学。程序。，60（1993），第1-19页，https://doi.org/10.1007/BF01580598。 ·Zbl 0783.90101号 [69] A.Vahdat和J.Kautz，《NVAE:深层变分自动编码器》，《神经信息处理系统的进展》，第33期（2020年）。 [70] T.Valkonen，非线性算子的原-对偶混合梯度法及其在MRI中的应用，逆问题，30（2014），第1-42页，https://doi.org/10.1088/0266-5611/30/5/055012。 ·Zbl 1310.47081号 [71] S.V.Venkatakrishnan、C.A.Bouman和B.Wohlberg，基于模型重建的即插即用先例，《2013年IEEE信号和信息处理全球会议论文集》，第945-948页，https://doi.org/10.109/GlobalSIP.2013.6737048。 [72] J.Whang、Q.Lei和A.G.Dimakis，《具有可逆生成模型和相关噪声的压缩传感》，《NeurIPS深度宇宙研讨会》，2020年。 [73] X.Xu，Y.Sun，J.Liu，B.Wohlberg，and U.S.Kamilov，使用MMSE去噪器的即插即用先验的可证明收敛性，http://arxiv.org/abs/2005.07685, 2020. [74] G.Yu、G.Sapiro和S.Mallat，用分段线性估计解决反问题：从高斯混合模型到结构稀疏性，IEEE Trans。图像处理，21（2011），第2481-2499页·Zbl 1373.94471号 [75] K.Zhang、W.Zuo、Y.Chen、D.Meng和L.Zhang，超越高斯去噪器：用于图像去噪的深度CNN剩余学习，IEEE Trans。图像处理，26（2017），第3142-3155页·Zbl 1409.94754号 [76] K.Zhang、W.Zuo、S.Gu和L.Zhang，在图像恢复之前学习深度CNN去噪器，《IEEE计算机视觉和模式识别会议论文集》，2017年，第2808-2817页，https://doi.org/10.109/CVPR.2017.300。 [77] K.Zhang、W.Zuo和L.Zhang，FFDnet：基于CNN的图像去噪的快速灵活解决方案，IEEE Trans。图像处理，27（2018），第4608-4622页。 [78] R.Zhang、P.Isola、A.A.Efros、E.Shechtman和O.Wang，深度特征作为感知度量的不合理有效性，《IEEE计算机视觉和模式识别会议论文集》，2018年，第586-595页。 [79] Z.Zhang、R.Zhang，Z.Li、Y.Bengio和L.Paull，感知生成自动编码器，《2019年学习表征国际会议论文集》，第1-7页，https://github.com/zj10/PGA。 [80] D.Zoran和Y.Weiss，《从自然图像补丁的学习模型到整体图像恢复》，《2011年计算机视觉国际会议论文集》，IEEE，2011年，第479-486页，https://doi.org/10.109/ICCV.2011.6126278。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。