李，豪森;约翰·施瓦布;斯蒂芬·安托尔泽;马库斯·哈尔特迈耶 NETT：用深层神经网络解决反问题。 （英语） Zbl 1456.65038号 反向探测。 36，第6号，文章ID 065005，23 p.（2020）. 摘要：从间接测量中恢复函数或高维参数向量是各种科学领域的中心任务。解决此类反问题的几种方法得到了很好的发展和理解。最近，出现了利用深度学习和神经网络解决反问题的新算法。虽然这些技术仍处于初级阶段，但在低剂量CT或各种稀疏数据问题等应用中表现出惊人的性能。然而，在反问题的深度学习方面，理论成果很少。本文对所提出的NETT（network Tikhonov）方法进行了完全收敛性分析。NETT考虑由训练好的神经网络定义的正则化子值较小的近似数据一致解。我们得到了良好的结果和定量的误差估计，并提出了一种训练正则化子的可能策略。我们的理论结果和框架不同于以往使用神经网络求解逆问题的任何工作。提出了一种可能的数据驱动正则化器。给出了一个层析稀疏数据问题的数值结果，该结果表明，即使对于训练数据中不同类型的未知量，NETT也具有良好的性能。为了导出收敛性和收敛率结果，我们引入了一个基于绝对Bregman距离的新框架，将标准Bregman距离从凸推广到非凸情况。 引用于43文件 MSC公司： 65J22型 抽象空间反问题的数值解法 62G05型 非参数估计 68T07型 人工神经网络与深度学习 94A08型 信息与通信理论中的图像处理（压缩、重建等） 关键词：收敛性分析;卷积神经网络;深度学习;反问题;绝对Bregman距离;图像重建 软件：取消锁定BoX;网络电话;掌中宽带 PDF格式BibTeX公司 XML格式引用 \textit{H.Li}等人，反问题。36，第6号，文章ID 065005，23 p.（2020；Zbl 1456.65038） 全文： 内政部 arXiv公司 参考文献： [1] Adler J和Öktem O 2017使用迭代深度神经网络求解不适定反问题反问题33 124007·兹比尔1394.92070 ·doi:10.1088/1361-6420/aa9581 [2] Aggarwal H K、Mani M P和Jacob M 2018 MODL：基于模型的反问题深度学习架构IEEE Trans。医学成像38 394-405·doi:10.1109/tmi.2018.2865356 [3] Aharon M、Elad M和Bruckstein A 2006 K-SVD：为稀疏表示IEEE Trans设计超完备字典的算法。信号处理54 4311-22·Zbl 1375.94040号 ·doi:10.1109/tsp.2006.881199 [4] Amos B，Xu L和Kolter J Z 2017输入凸神经网络第70卷第146-55页 [5] Antholzer S、Haltmeier M和Schwab J 2019《稀疏数据光声层析成像深度学习反问题科学》。工程27 987-1005·Zbl 1465.94008号 ·doi:10.1080/17415977.2018.1518444 [6] Antholzer S、Schwab J、Bauer-Marschallinger J、Burgholzers P和Haltmeier M 2019压缩传感光声层析成像程序的NETT正则化。光子+超声波：成像和传感（2019年2月3日至6日，加利福尼亚州旧金山）第10878卷第108783B页 [7] Behrmann J、Grathwohl W、Chen R、Duvenaud D和Jacobsen J 2019可逆剩余网络。第36届国际机器学习会议第97卷，K Chaudhuri和R Salakhutdinov第573-82页 [8] Burger M和Osher S 2004凸变分正则化反问题的收敛速度20 1411-21·兹比尔1068.65085 ·doi:10.1088/0266-5611/20/5/005 [9] Burgholzer P、Bauer-Marschallinger J、Grün H、Haltmeier M和Paltauf G 2007带积分线探测器的光声层析成像的时间反向投影算法反问题23 S65-80·Zbl 1125.92035号 ·doi:10.1088/0266-5611/23/6/s06 [10] Butnariu D和Iusem A N 2000不动点计算和无限维优化的全凸函数（应用优化第40卷）（Dordrecht:Kluwer学术版）·Zbl 0960.90092号 ·doi:10.1007/978-94-011-4066-9 [11] Candès E J和Donoho D L 2004曲线的新紧框架和具有分段C2奇点Commun的对象的最佳表示。纯应用程序。数学57 219-66·Zbl 1038.94502号 ·doi:10.1002/cpa.10116 [12] Chang R、Li C、Poczos B、Kumar V和Sankaranarayanan A 2017使用深度投影模型解决全解线性反问题的一个网络pp 5888-97 [13] Chen H，Zhang Y，Zhang W，Liao P，Li K，Zhou J和Wang G 2017卷积神经网络生物识别低剂量CT。选择。快递8 679-94·doi:10.1364/boe.8.000679 [14] Clarke F H、Ledyaev Y S、Stern R J和Wolenski P R 1997非光滑分析与控制理论第178卷（柏林：Springer） [15] Combettes P L和Pesquet J-C 2011信号处理中的近似分裂方法科学与工程反问题的定点算法（柏林：Springer）第185-212页·Zbl 1242.90160号 ·doi:10.1007/978-1-4419-9569-810 [16] Daubechies I 1988紧支撑小波的正交基Commun。纯应用程序。数学41 909-96·Zbl 0644.42026号 ·doi:10.1002/cpa.3160410705 [17] Daubechies I，Defrise M和De Mol C 2004具有稀疏约束Commun的线性反问题的迭代阈值算法。纯应用程序。数学57 1413-57·兹比尔1077.65055 ·doi:10.1002/cpa.20042 [18] Engl H W、Hanke M和Neubauer A 1996反问题正则化第375卷（Dordrecht:Kluwer学术版）·Zbl 0859.65054号 ·doi:10.1007/978-94-009-1740-8 [19] Finch D、Haltmeier M和Rakesh，2007年，球面平均值反演和偶数维波动方程SIAM J.Appl。数学68 392-412·Zbl 1159.35073号 ·doi:10.1137/070682137 [20] Goodfellow I、Bengio Y和Courville A 2016深度学习（马萨诸塞州剑桥：麻省理工学院出版社）http://www.deeplearningbook.org ·Zbl 1373.68009号 [21] Grasmair M 2010非凸正则化方法的广义Bregman距离和收敛速度反问题26 115014·Zbl 1228.65086号 ·doi:10.1088/0266-5611/26/11/115014 [22] Grasmair M、Haltmeier M和Scherzer O 2008稀疏正则化与lq惩罚项反问题24 055020·Zbl 1157.65033号 ·doi:10.1088/0266-5611/24/5/055020 [23] Grasmair M、Haltmeier M和Scherzer O 2011线性收敛的充要条件ℓ1-正规化委员会。纯应用程序。数学64 161-82·Zbl 1217.65095号 ·doi:10.1002/cpa.20350 [24] Grasmair M、Haltmeier M和Scherzer O 2011正则化不适定问题的残差法。数学。计算218 2693-710·Zbl 1247.65076号 ·doi:10.1016/j.amc.2011.08.009 [25] Gribonval R和Schnass K 2010字典识别-稀疏矩阵分解ℓ1-最小化IEEE传输。信息理论56 3523-39·Zbl 1366.62104号 ·doi:10.10109/时间.2010.2048466 [26] Haltmeier M 2016圆形Radon变换的采样条件IEEE Trans。图像处理25 2910-9·Zbl 1408.94225号 ·doi:10.1109/tip.2016.2551364 [27] Hammernik K、Klatzer T、Kobler E、Recht M P、Sodickson D K、Pock T和Knoll F 2018学习用于重建磁共振成像加速数据Magn的变分网络。Reson公司。医学79 3055-71·数字对象标识码：10.1002/mrm.26977 [28] Han Y，Yoo J J和Ye J C 2016通过持久同源性分析arXiv:1611.06391进行压缩传感CT重建的深度残差学习 [29] He K、Zhang X、Ren S和Sun J 2015深入研究整流器：在图像网络分类方面超越人性化绩效pp 1026-34 [30] Jin K H，McCann M T，Froustey E和Unser M 2017用于成像逆问题的深度卷积神经网络IEEE Trans。图像处理26 4509-22·Zbl 1409.94275号 ·doi:10.1109/tip.2017.2713099 [31] Kelly B、Matthews T P和Anastasio M A 2017不完整数据的深度学习引导图像重建arXiv:1709.00584 [32] Kofler A、Haltmeier M、Kolbitsch C、KachelließM和Dewey M 2018稀疏视图计算机断层扫描的u-nets级联医学图像重建机器学习国际研讨会（柏林：Springer）第91-9页·doi:10.1007/978-3-030-00129-2_11 [33] Kuchment P和Kunyansky L A 2008热声和光声层析成像数学Eur.J.Appl。数学19 191-224·Zbl 1185.35327号 ·doi:10.1017/s0956792508007353 [34] Lorenz D 2008稀疏约束Tikhonov正则化的收敛速度和源条件J.逆病态问题16 463-78·Zbl 1161.65041号 ·doi:10.1515/jiip.2008.025 [35] Du Simon S、Hu Wei和Lee Jason D 2018学习深层同质模型的算法正则化：层自动平衡神经信息处理系统进展31 ed S Bengio、H Wallach、H Larochelle、N Cesa Bianchi和R Garnett pp 384-95 URL:http://papers.nips.cc/paper/7321-algorithmic-regulation-in-learning-dep-homogeneous-models-layers-are-automatically-balanced.pdf [36] Maas A L、Hannun A Y和Ng A Y 2013整流器非线性改进神经网络声学模型第30卷 [37] Mallat S 2009信号处理小波之旅：The Sparse Way第三版（阿姆斯特丹：Elsevier/Academic）·Zbl 1170.94003号 [38] Natterer F和Wübbeling F 2001图像重建中的数学方法（数学建模和计算专著第5卷）（宾夕法尼亚州费城：SIAM）·Zbl 0974.92016年 ·数字对象标识代码：10.1137/1.9780898718324 [39] Obmann D、Schwab J和Haltmeier M 2019深度神经网络稀疏合成正则化2017年采样理论与应用国际会议（SampTA）https://arxiv.org/abs/1902.00390 ·doi:10.1109/SampTA45681.2019.9030953 [40] Paltauf G、Nuster R、Haltmeier M和Burgholzer P 2007使用Mach-Zehnder干涉仪作为声学测线探测器的光声层析成像。选项46 3352-8·doi:10.1364/ao.46.003352 [41] Ramlau R和Teschke G 2006基于Tikhonov的投影迭代法，用于稀疏约束的非线性不适定问题Numer。数学104 177-203·Zbl 1101.65056号 ·文件编号：10.1007/s00211-006-0016-3 [42] Resmerita E 2004关于Banach空间中的总凸性、Bregman投影和稳定性J.凸分析.11-16·Zbl 1080.46010号 [43] Romano Y、Elad M和Milanfar P 2017可能的小引擎：通过去噪（红色）SIAM J.Imag进行正则化。科学10 1804-44·Zbl 1401.62101号 ·数字对象标识代码：10.1137/16m1102884 [44] Ronneberge O、Fischer P和Brox T 2015 U-net：生物医学图像分割的卷积网络第234-41页 [45] Scherzer O、Grasmair M、Grossauer H、Haltmeier M和Lenzen F 2009成像变分方法（应用数学科学第167卷）（纽约：施普林格）·Zbl 1177.68245号 [46] Schlember J、Caballero J、Hajnal J V、Price A N和Rueckert D 2017动态mr图像重建的卷积神经网络深度级联IEEE Trans。医学成像37 491-503·doi:10.1109/tmi.2017.2760978 [47] Schwab J、Antholzer S、Nuster R和Haltmeier M 2018使用深度学习的实时光声投影成像arXiv:1801.06693 [48] Wang G 2016深度成像透视IEEE Access4 8914-24·doi:10.10109/访问.2016.2624938 [49] Wang K和Anastasio M A 2011光声和热声层析成像：成像数学方法手册（柏林：Springer）第781-815页·Zbl 1259.78035号 ·数字对象标识代码：10.1007/978-0-387-92920-0_18 [50] Wang L V 2009多尺度光声显微镜和计算机断层扫描自然光子。3 503-9·doi:10.1038/nphoton.2009.157 [51] Wang S、Su Z、Ying L、Peng X、Zhu S、Liang F、Feng D和Liang D 2016通过深度学习加速磁共振成像第514-7页 [52] Wang Z，Bovik A C，Sheikh H R等人2004图像质量评估：从错误可见性到结构相似性IEEE Trans。图像处理.13 600-12·doi:10.1109/tip.2003.819861 [53] Würfl T、Ghesu F C、Christlein V和Maier A 2016医学图像计算和计算机辅助干预深度学习计算机断层扫描国际会议（柏林：Springer）第432-40页 [54] Zhang H，Li L，Qiao K，Wang L，Yan B，Li L.和Hu G 2016利用卷积神经网络arXiv:1607.08707进行深度学习的有限角度断层成像图像预测 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。