霍华德·希顿;冯萨米·吴;Lin、Alex Tong;斯坦利·奥斯尔;尹沃涛 基于Wasserstein的投影及其在反问题中的应用。 （英语） Zbl 1492.94019号 SIAM J.数学。数据科学。 4，编号2，581-603（2022）. 摘要：反问题包括从噪声测量集合中恢复信号。这些问题通常被视为优化问题，经典方法使用数据保真度项和稳定恢复的分析正则化器。最近的即插即用（PnP）工作提出用数据驱动的去噪器代替优化方法中的解析正则化算子。这些方案获得了最先进的结果，但以有限的理论保证为代价。为了弥补这一差距，我们提出了一种新的算法，该算法从真实数据流形中提取样本作为输入，并将投影算子的近似值输出到该流形上。在标准假设下，我们证明了该算法生成了一个学习算子，称为基于Wasserstein的投影（WP），它以高概率逼近真实投影。因此，可以以与PnP相同的方式将WP插入优化方法中，但现在有了理论保证。提供的数值示例表明，WP在无监督PnP信号恢复方面获得了最先进的结果。此工作的所有代码都可以在https://github.com/swufung/WassersteinBasedProjections网站. 引用于三文件 理学硕士： 94A08型 信息与通信理论中的图像处理（压缩、重建等） 65千5 数值数学规划方法 65层22 数值线性代数中的不适定性和正则化问题 68T07型 人工神经网络与深度学习 90C25型 凸面编程 92 C55 生物医学成像和信号处理 关键词：反问题;生成性对抗网络;生成建模;深度神经网络;沃瑟斯坦;投影;哈尔佩恩;即插即用;学习优化;计算机断层扫描 软件：ODL公司;t-SNE公司;亚当;Entropy-SGD公司;相位提升;OT-流量;Deep Adverserial正则化器;github;Wasserstein甘;PyTorch公司;PNKH-B公司;ADMM-Softmax软件;LoDoPaB-CT公司;掌中宽带 PDF格式BibTeX公司 XML格式引用 \textit{H.Heaton}等人，SIAM J.数学。数据科学。4，编号2，581--603（2022；Zbl 1492.94019） 全文： 内政部 arXiv公司 参考文献： [1] J.Adler、H.Kohr和O.Oõktem，算子离散化库（ODL），https://doi.org/10.5281/zenodo.249479。 (2017). [2] J.Adler和O.Oöktem，使用迭代深度神经网络解决不适定逆问题，逆问题，33（2017），124007·Zbl 1394.92070号 [3] J.Adler和O.Oöktem，《学习的原-对偶重建》，IEEE医学影像交易，37（2018），第1322-1332页。 [4] C.Anil、J.Lucas和R.Grosse，《整理lipschitz函数近似》，2019年国际机器学习会议，第291-301页。 [5] V.Antun、F.Renna、C.Poon、B.Adcock和A.C.Hansen，《图像重建中深度学习的不稳定性和人工智能的潜在成本》，《国家科学院学报》，117（2020），第30088-30095页。 [6] M.Arjovsky、S.Chintala和L.Bottou，Wasserstein生成性对抗网络，《机器学习国际会议》，国际机器学习学会，宾夕法尼亚州斯特劳德斯堡，2017年，第214-223页。 [7] S.R.Arridge，医学成像中的光学层析成像，逆向问题，15（1999），第R41-R93页·Zbl 0926.35155号 [8] S.R.Arridge和J.C.Schotland，《光学层析成像：正问题和逆问题》，《反问题》，25（2009），123010·Zbl 1188.35197号 [9] D.O.Baguer、J.Leuschner和M.Schmidt，使用深度图像先验和学习重建方法的计算机断层重建，《反问题》，3b（2020），094004·Zbl 1460.68093号 [10] H.H.Bauschke、P.L.Combettes和D.R.Luke，相位检索、误差减少算法和fienup变体：从凸优化的角度来看，J.Opt。美国证券交易委员会。A、 19（2002），第1334-1345页。 [11] A.Beck和M.Teboulle，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2（2009年），第183-202页·Zbl 1175.94009号 [12] M.Belkin和P.Niyogi，用于降维和数据表示的拉普拉斯特征映射，神经计算。，15（2003年），第1373-1396页·Zbl 1085.68119号 [13] M.Benning、G.Gilboa、J.S.Grah和C.-B.Schoínlieb，通过最小化商在正则化者中学习滤波器函数，计算机视觉中的尺度空间和变分方法国际会议，瑞士Cham Springer，2017年，第511-523页·Zbl 1489.68218号 [14] S.Bhadra、V.A.Kelkar、F.J.Brooks和M.A.Anastasio，《断层图像重建中的幻觉》，IEEE Trans。《医学成像》，40（2020），第3249-3260页。 [15] L.Bottou，带随机梯度下降的大尺度机器学习，摘自《2010年COMPSTAT会议录》，施普林格，柏林，2010年，第177-186页·Zbl 1436.68293号 [16] T.Bui-Thanh、O.Ghattas、J.Martin和G.Stadler，无限维贝叶斯反演问题的计算框架，第一部分：线性化情况，及其在全球地震反演中的应用，SIAM J.Sci。计算。，35（2013年），第A2494-A2523页·Zbl 1287.35087号 [17] D.Calvetti和L.Reichel，《大型线性问题的Tikhonov正则化》，BIT，43（2003），第263-283页·Zbl 1038.65048号 [18] E.J.Candès、Y.C.Eldar、T.Strohmer和V.Voroninski，通过矩阵补全进行相位恢复，SIAM Rev.，57（2015），第225-251页·Zbl 1344.49057号 [19] E.J.Candes和J.Romberg，定量稳健不确定性原理和最佳稀疏分解，Found。计算。数学。，6（2006），第227-254页·Zbl 1102.94020号 [20] E.J.Candès、J.Romberg和T.Tao，《鲁棒不确定性原理：从高度不完整的频率信息精确重建信号》，IEEE Trans。通知。理论，52（2006），第489-509页·Zbl 1231.94017号 [21] G.Carlsson、T.Ishkhanov、V.De Silva和A.Zomordian，《自然图像空间的局部行为》，国际计算机杂志。视觉。，76（2008），第1-12页·Zbl 1477.68463号 [22] L.Cayton，流形学习算法，手稿。 [23] A.Cegielski，Hilbert空间中不动点问题的迭代方法，2057，Springer，2012·Zbl 1256.47043号 [24] A.Chambolle和T.Pock，凸问题的一阶原对偶算法及其在成像中的应用，J.Math。《成像视觉》，40（2011），第120-145页·Zbl 1255.68217号 [25] R.H.Chan、K.K.Kan、M.Nikolova和R.J.Plemmons，高光谱图像光谱空间分类的两阶段方法，J.Math。《成像视觉》（2020年），第1-18页·Zbl 1483.68282号 [26] S.H.Chan、X.Wang和O.A.Elgendy，用于图像恢复的即插即用ADMM：定点收敛和应用，IEEE Trans。计算。《成像》，3（2016），第84-98页。 [27] P.Chaudhari、A.Choromanska、S.Soatto、Y.LeCun、C.Baldassi、C.Borgs、J.Chayes、L.Sagun和R.Zecchina，Entropy-SGD：偏向梯度下降到宽山谷，J.Stat.Mech。理论实验，2019（2019），124018·Zbl 1459.65091号 [28] H.Chen，Y.Zhang，M.K.Kalra，F.Lin，Y.Chen，P.Liao，J.Zhou，and G.Wang，带残差编解码卷积神经网络的低剂量CT，IEEE Trans。《医学成像》，36（2017），第2524-2535页。 [29] R.Cohen、M.Elad和P.Milanfar，通过定点投影（red-pro）去噪进行正则化，SIAM J.Imaging Sci。，14（2021年），第1374-1406页·Zbl 1474.94011号 [30] P.L.Combettes和J.-C.Pesquet，求解变分不等式的深层神经网络结构，集值变量分析。，28（2020年），第491-518页·Zbl 1448.49014号 [31] P.L.Combettes和J.-C.Pesquet，由平均激活算子驱动的分层网络结构的Lipschitz证书，SIAM J.Math。数据科学。，2（2020年），第529-557页·Zbl 07468921号 [32] F.Cucker和S.Smale，学习理论中正则化参数的最佳选择：关于偏差方差问题，Found。计算。数学。，2（2002），第413-428页·Zbl 1057.68085号 [33] I.Dokmanicí，J.Bruna，S.Mallat，and M.de Hoop，《具有不变多尺度统计的反问题》，预印本，arXiv:1609.05502（2016）。 [34] D.L.Donoho，压缩传感，IEEE Trans。通知。《理论》，52（2006），第1289-1306页·Zbl 1288.94016号 [35] D.L.Donoho，高维数据分析：维度的诅咒和祝福，AMS数学挑战讲座，1（2000），32。 [36] E.Esser、X.Zhang和T.F.Chan，成像科学中凸优化的一类一阶原对偶算法的一般框架，SIAM成像科学杂志，3（2010），第1015-1046页·Zbl 1206.90117号 [37] S.W.Fung，地球物理学和机器学习中的大规模参数估计，博士论文，佐治亚州亚特兰大埃默里大学，2019年。 [38] 冯世伟（S.W.Fung）和狄宗伟（Z.W.Di），《大规模心电相位恢复的多重网格优化》，《SIAM成像科学杂志》，第13期（2020年），第214-233页·Zbl 07196102号 [39] S.W.Fung和L.Ruthotto，PDE参数估计中模型降阶的多尺度方法，J.Compute。申请。数学。，350（2019年），第19-34页·Zbl 1524.76241号 [40] S.W.Fung和L.Ruthotto，并行PDE参数估计的不确定性加权异步ADMM方法，SIAM J.Sci。计算。，41（2019年），第S129-S148页·Zbl 1428.65067号 [41] B.Gao和L.Pavel，《关于Softmax函数的性质及其在博弈论和强化学习中的应用》，预印本，arXiv:1704.00805（2017）。 [42] G.Gilboa，针对特定任务处理的专家正则化器，《计算机视觉中尺度空间和变分方法国际会议》，柏林斯普林格，2013年，第24-35页。 [43] G.H.Golub、P.C.Hansen和D.P.O'Leary，Tikhonov正则化和总最小二乘法，SIAM J.矩阵分析。申请。，21（1999），第185-194页·兹伯利0945.65042 [44] I.Goodfellow、J.Pouget-Abadie、M.Mirza、B.Xu、D.Warde-Farley、S.Ozair、A.Courville和Y.Bengio，《生成对抗网络》，摘自《神经信息处理系统的进展》，Curran Associates，Red Hook，NY，2014年，第2672-2680页。 [45] I.Gulrajani、F.Ahmed、M.Arjovsky、V.Dumoulin和A.C.Courville，《Wasserstein GANs的改进培训，神经信息处理系统进展》，Curran Associates，Red Hook，NY，2017年，第5767-5777页。 [46] E.Haber、U.Ascher、D.Aruliah和D.Oldenburg，使用电势快速模拟三维电磁问题，J.Compute。物理。，163（2000），第150-171页·Zbl 1145.78323号 [47] E.Haber、U.M.Ascher和D.W.Oldenburg，《使用不精确全向方法反演频域和时域中的三维电磁数据》，《地球物理学》，69（2004），第1216-1228页。 [48] E.Haber和L.Ruthotto，深度神经网络的稳定架构，逆向问题，34（2017），014004·Zbl 1426.68236号 [49] B.Halpern，非扩张映射的不动点，Bull。阿默尔。数学。《社会学杂志》，73（1967），第957-961页·Zbl 0177.19101号 [50] K.Hammernik、T.Klatzer、E.Kobler、M.P.Recht、D.K.Sodickson、T.Pock和F.Knoll，学习用于重建加速MRI数据的变分网络，Magn。《共振医学》第79卷（2018年），第3055-3071页。 [51] P.C.Hansen、J.G.Nagy和D.P.O'leary，《去模糊图像：矩阵、光谱和滤波》，SIAM，费城，2006年·Zbl 1112.68127号 [52] K.He、X.Zhang、S.Ren和J.Sun，《深入研究整流器：在图像网络分类方面超越人类水平的性能》，《IEEE计算机视觉国际会议论文集》，IEEE，新泽西州皮斯卡塔韦，2015年，第1026-1034页。 [53] K.H.Jin、M.T.McCann、E.Froustey和M.Unser，成像逆问题的深度卷积神经网络，IEEE Trans。图像处理。，26（2017），第4509-4522页·Zbl 1409.94275号 [54] K.Kan、S.W.Fung和L.Ruthotto，PNKH-B:大规模有界约束优化的投影牛顿-克利洛夫方法，SIAM J.Sci。计算。，43（2021），第5704-5726页·兹布尔07418126 [55] N.S.Keskar、D.Mudigere、J.Nocedal、M.Smelyanskiy和P.T.P.Tang，《关于深度学习的大范围培训：泛化差距和显著极小值》，国际学习代表大会（ICLR），2017年。 [56] D.P.Kingma和J.Ba，Adam：随机优化方法，预印本，arXiv:1412.6980（2014）。 [57] E.Kobler、T.Klatzer、K.Hammernik和T.Pock，《变分网络：连接变分方法和深度学习》，德国模式识别会议，施普林格，瑞士查姆，2017年，第281-293页。 [58] A.B.Lee、K.S.Pedersen和D.Mumford，自然图像中高对比度斑块的非线性统计，国际计算机杂志。视觉。，54（2003），第83-103页·Zbl 1070.68661号 [59] J.Leuschner、M.Schmidt、D.O.Baguer和P.Maaß，LoDoPaB-CT低剂量CT重建的数据集基准数据集，科学。数据，8（2021），109。 [60] A.T.Lin、S.W.Fung、W.Li、L.Nurbekyan和S.J.Osher，交替使用人口和控制神经网络解决高维随机平均场博弈，Proc。国家。阿卡德。科学。美国，118（2021），e2024713118。 [61] J.Lin、K.Lensink和E.Haber，《发电网络的流体流动质量传输》，预印本，arXiv:1910.01694（2019）。 [62] T.Lin和H.Zha，黎曼流形学习，IEEE Trans。模式分析。机器。智力。，30（2008），第796-809页。 [63] S.Lunz。，反问题中的对抗正则化子，https://github.com/lunz-s/DepAdverserialRegulariser（https://吉特胡布.com/lunz） (2018). [64] S.Lunz，O.Oéktem和C.-B.Schoénlieb，逆向问题中的对抗正则化子，摘自《神经信息处理系统进展》31，S.Bengio，H.Wallach，H.Larochelle，K.Grauman，N.Cesa Bianchi和R.Garnett，eds.，Curran Associates，Red Hook，NY，2018，第8507-8516页，http://papers.nips.cc/paper/8070-antimalial-regularizers-in-inverse-problems.pdf。 [65] L.v.d.Maaten和G.Hinton，使用t-sne可视化数据，J.Mach。学习。Res.，9（2008），第2579-2605页·Zbl 1225.68219号 [66] T.Meinhardt、M.Moller、C.Hazirbas和D.Cremers，《学习近端算子：使用去噪网络正则化逆成像问题》，摘自《IEEE计算机视觉国际会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2017年，第1781-1790页。 [67] T.Miyato、T.Kataoka、M.Koyama和Y.Yoshida，《生成对抗网络的光谱归一化》，预印本，arXiv:1802.05957（2018）。 [68] M.Moeller、T.Mollenhoff和D.Cremers，通过能量耗散控制神经网络，《IEEE/CVF计算机视觉国际会议论文集》，IEEE，新泽西州皮斯卡塔韦，2019年，第3256-3265页。 [69] J.-J.Moreau，Proximite®et dualite®dans un espace hilbertien，公牛。社会数学。法国，93（1965），第273-299页·Zbl 0136.12101号 [70] G.Ongie、A.Jalal、C.A.Metzler、R.G.Baraniuk、A.G.Dimakis和R.Willett，成像逆问题的深度学习技术，IEEE J.Sel。区域通知。理论，1（2020年），第39-56页。 [71] D.Onken、S.Wu Fung、X.Li和L.Ruthotto，《OT-Flow:通过最佳传输快速准确地连续归一化流》，《AAAI人工智能会议论文集》，第35卷，2021年。 [72] S.Osher、M.Burger、D.Goldfarb、J.Xu和W.Yin，基于全变量图像恢复的迭代正则化方法，多尺度模型。模拟。，4（2005），第460-489页·1090.94003赞比亚比索 [73] S.Osher，Z.Shi，W.Zhu，图像处理的低维流形模型，SIAM J.成像科学。，10（2017年），第1669-1690页·兹比尔1401.49042 [74] Y.Ouyang，Y.Chen，G.Lan和E.Pasiliao Jr，乘法器的加速线性化交替方向方法，SIAM J.成像科学。，8（2015），第644-681页·兹比尔1321.90105 [75] A.Paszke等人，《Pythorter:一种命令式、高性能的深度学习库》，摘自《神经信息处理系统进展》，Curran Associates，Red Hook，NY，2019年，第8026-8037页。 [76] K.Pearson，Liii。在最接近空间点系的直线和平面上，伦敦-爱丁堡-都柏林-菲洛斯。科学杂志。，2（1901年），第559-572页。 [77] G.Peyreí，非局部光谱基础的图像处理，多尺度模型。模拟。，7（2008），第703-730页·Zbl 1177.41016号 [78] G.Peyreí，信号和图像的流形模型，计算。视觉。图像理解。，113（2009），第249-260页。 [79] J.Rick Chang、C.-L.Li、B.Poczos、B.Vijaya Kumar和A.C.Sankaranarayanan，《使用深度投影模型解决所有线性反问题的一个网络》，载于《IEEE计算机视觉国际会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2017年，第5888-5897页。 [80] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。《统计》，22（1951），第400-407页·Zbl 0054.05901号 [81] O.Ronneberger、P.Fischer和T.Brox，《U-Net:用于生物医学图像分割的卷积网络》，《国际医学图像计算和计算机辅助干预会议》，瑞士查姆施普林格，2015年，第234-241页。 [82] L.I.Rudin、S.Osher和E.Fatemi，基于非线性全变分的噪声去除算法，Phys。D、 60（1992年），第259-268页·Zbl 0780.49028号 [83] L.Ruthotto和E.Haber，偏微分方程驱动的深层神经网络，J.Math。《成像视觉》，1162（2020），第352-364页·Zbl 1434.68522号 [84] L.Ruthotto、S.J.Osher、W.Li、L.Nurbekyan和S.W.Fung，《解决高维平均场博弈和平均场控制问题的机器学习框架》，Proc。美国国家科学院。科学。，117（2020年），第9183-9193页。 [85] V.Shah和C.Hegde，《使用gan先验值求解线性反问题：具有可证明保证的算法》，2018年IEEE声学、语音和信号处理国际会议（ICASSP），IEEE，新泽西州皮斯卡塔韦，2018年，第4609-4613页。 [86] Y.Yanq，J.Sun，H.Li，Z.Xu，et al.，Deep ADMM-Net for compressive sensing MRI，in Advances in Neural Information Processing Systems，Curran Associates，Red Hook，NY，2016年，第10-18页。 [87] A.Talwalkar、S.Kumar和H.Rowley，大尺度流形学习，2008年IEEE计算机视觉和模式识别会议，IEEE，新泽西州皮斯卡塔韦，2008年，第1-8页。 [88] A.Tanaka，《鉴别器最佳传输》，摘自《神经信息处理系统进展》（NeurIPS），Curran Associates，Red Hook，NY，2019年，第6813-6823页。 [89] J.B.Tenenbaum、V.De Silva和J.C.Langford，《非线性降维的全球几何框架》，《科学》，290（2000），第2319-2323页。 [90] N.H.Thao、D.R.Luke、O.Soloviev和M.Verhaegen，稀疏相位约束下的相位恢复，SIAM J.Math。数据科学。，2（2020年），第246-263页·Zbl 1484.65129号 [91] D.Ulyanov、A.Vedaldi和V.Lempitsky，《Deep image previor》，摘自《IEEE计算机视觉和模式识别会议论文集》，IEEE计算机学会，加利福尼亚州洛斯阿拉米托斯，2018年，第9446-9454页。 [92] L.Van Der Maaten、E.Postma和J.Van den Herik，《降维：比较评论》，J.Mach。学习。研究，10（2009），第1-41页。 [93] S.V.Venkatakrishnan、C.A.Bouman和B.Wohlberg，基于模型重建的即插即用先验，2013年IEEE信号和信息处理全球会议，IEEE，新泽西州皮斯卡塔韦，2013年，第945-948页。 [94] C.维拉尼，《最佳交通：新旧》，格兰德伦数学。威斯。338，施普林格，柏林，2008年·兹比尔1156.53003 [95] E.D.Vito、L.Rosasco、A.Caponetto、U.D.Giovannini和F.Odone，作为反问题从示例中学习，J.Mach。学习。Res.，6（2005），第883-904页·Zbl 1222.68180号 [96] G.Wang，《深度成像透视》，IEEE Access，4（2016），第8914-8924页。 [97] S.Wu Fung、S.Tyrvaíinen、L.Ruthotto和E.Haber，ADMM-Softmax:多项式逻辑回归的ADMM方法，电子。事务处理。数字。分析。，52（2020年），第214-229页·Zbl 07192774号 [98] Q.Xu，H.Yu，X.Mou，L.Zhang，J.Xieh，G.Wang，通过字典学习进行低剂量X射线CT重建，IEEE Trans。《医学成像》，31（2012），第1682-1697页。 [99] S.Yan，D.Xu，B.Zhang，H.J.Zhang、Q.Yang和S.Lin，图嵌入和扩展：降维的一般框架，IEEE Trans。模式分析。机器。智力。，29（2006），第40-51页。 [100] W.Yin、S.Osher、D.Goldfarb和J.Darbon，用于\（\ell_1\）-最小化的Bregman迭代算法及其在压缩传感中的应用，SIAM J.Imaging Sci。，1（2008），第143-168页·Zbl 1203.90153号 [101] A.Zaeemzadeh、N.Rahnavard和M.Shah，《规范保护：为什么残余网络会变得非常深？》？，IEEE传输。模式分析。机器。智力。，43（2021年），第3980-3990页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。