×
Sören Dittmer公司;托拜厄斯·克劳斯;彼得·马斯;丹尼尔·奥特罗·巴格尔

按体系结构正则化：用于反问题的深层优先方法。 （英语） Zbl 1434.68505号

数学杂志。成像Vis。 62，第3期，456-470页（2020年）.
摘要：本文在不适定反问题的背景下研究了所谓的深度图像先验（DIP）技术。DIP网络最近被引入图像处理应用；还报道了将DIP应用于反问题的首次实验结果。本文旨在讨论DIP的不同解释，并获得特定网络设计和线性算子的分析结果。主要贡献是引入了将这些方法视为优化Tikhonov泛函而非优化网络的思想。除了理论结果外，我们还进行了数值验证。

引用于15文件

MSC公司：

68T07型 人工神经网络与深度学习
65J22型 抽象空间反问题的数值解法
94A08型 信息与通信理论中的图像处理（压缩、重建等）

关键词：

反问题;深度学习;建筑规范化;深逆先验;深度图像先验

软件：

TensorFlow公司;压缩IP;深红色;阿里斯塔
PDF格式BibTeX公司 XML格式引用
\textit{S.Dittmer}等人，J.Math。成像视觉。62，第3号，456--470（2020；Zbl 1434.68505）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.版本，I.、Talwar，K.、Tucker，P.、Vanhoucke，V.、Vasudevan，V.，Viégas，F.、Vinyals，O.、Warden，P.，Wattenberg，M.、Wicke，M..、Yu，Y.、Zheng，X.：TensorFlow:异构系统上的大规模机器学习（2015）。https://www.tensorflow.org/。软件可从tensorflow.org获取
[2] 阿德勒，J。；O.奥克特姆，《学习的原对偶重建》，IEEE Trans。医学成像，37，6，1322-1332（2018）·doi:10.1109/TMI.2018.2799231
[3] Andrychowicz，M.、Denil，M.，Gomez，S.、Hoffman，M.W.、Pfau，D.、Schaul，T.、Shillingford，B.、De Freitas，N.：通过梯度下降学习梯度下降。摘自：《神经信息处理系统进展》，第3981-3989页（2016年）
[4] 匿名：关于神经网络的光谱偏差。提交：提交给学习代表国际会议（审查中）（2019年）。https://openreview.net/forum？id=r1gR2sC9FX。2019年10月28日访问
[5] Arridge，S。；Maass，P。；O.Øktem。；Schönlieb，CB，使用数据驱动模型解决反问题，Acta Numer。，28, 1-174 (2019) ·Zbl 1429.65116号 ·doi:10.1017/S096249291900059
[6] 贝克，A。；Teboulle，M.，线性反问题的快速迭代收缩阈值算法，SIAM J.成像科学。，2, 1, 183-202 (2009) ·Zbl 1175.94009号 ·doi:10.1137/080716542
[7] Bora，A.、Jalal，A.、Price，E.、Dimakis，A.G.：使用生成模型的压缩传感。摘自：《第34届机器学习国际会议论文集》，2017年8月6日至11日，澳大利亚新南威尔士州悉尼，ICML 2017，第537-546页（2017）。http://proceedings.mlr.press/v70/bora17a.html
[8] 布鲁纳，J。；Mallat，S.，《不变散射卷积网络》，IEEE Trans。模式分析。机器。智力。，35, 8, 1872-1886 (2013) ·doi:10.1109/TPAMI.2012.230
[9] Chen，X.，Liu，J.，Wang，Z.，Yin，W.：未展开ISTA的理论线性收敛性及其实际权重和阈值。摘自：《神经信息处理系统进展》，第9061-9071页（2018年）
[10] Cheng，Z.，Gadelha，M.，Maji，S.，Sheldon，D.：关于深度图像先验的贝叶斯观点。In:IEEE计算机视觉和模式识别会议（2019）
[11] 组合框，P。；Wajs，V.，近端前向背向分裂信号恢复，多尺度模型。模拟。，4, 4, 1168-1200 (2005) ·Zbl 1179.94031号 ·数字对象标识代码：10.1137/050626090
[12] Daubechies，I。；Defrise，M。；De Mol，C.，具有稀疏约束的线性反问题的迭代阈值算法，Commun。纯应用程序。数学。，57, 11, 1413-1457 (2004) ·Zbl 1077.65055号 ·doi:10.1002/cpa.20042
[13] 英语，HW；汉克，M。；Neubauer，A.，《反问题的正则化，数学及其应用》（1996），多德雷赫特：Kluwer学术出版集团，多德雷赫特·Zbl 0859.65054号
[14] 福斯特，D。；谢赫，AS；Lücke，J.，《神经单纯形管：使用定向生成网络在少数标签的限制下学习》，神经计算。，8, 30, 2113-2174 (2018) ·Zbl 1472.68138号 ·doi:10.1116/neco_a01100
[15] Giryes，R。；Eldar，YC；AM布朗斯坦；Sapiro，G.，反问题中收敛速度和重建精度之间的权衡，IEEE Trans。信号处理。，66, 7, 1676-1690 (2018) ·Zbl 1414.94216号 ·doi:10.1109/TSP.2018.2791945
[16] Gregor，K.，LeCun，Y.：学习稀疏编码的快速近似。摘自：ICML 2010-进展，第27届国际机器学习会议，第399-406页（2010）
[17] Hauptmann，A。；勒卡，F。；Betcke，M。；Huynh，N。；阿德勒，J。；考克斯，B。；胡须，P。；Ourselin，S。；Arridge，S.，《基于模型的加速有限视野三维光声层析成像学习》，IEEE Trans。医学成像，37，6，1382-1393（2018）·doi:10.1109/TMI.2018.2820382
[18] 金，KH；麦肯，MT；弗鲁斯特，E。；Unser，M.，成像逆问题的深度卷积神经网络，IEEE Trans。图像处理。，26, 9, 4509-4522 (2017) ·兹比尔1409.94275 ·doi:10.1109/TIP.2017.2713099
[19] Lempitsky，V.，Vedaldi，A.，Ulyanov，D.：深度图像优先。摘自：2018 IEEE/CVF计算机视觉和模式识别会议，第9446-9454页（2018年）。10.1109/CVPR.2018.00984
[20] Liu，J.，Chen，X.，Wang，Z.，Yin，W.：ALISTA：分析权重与LISTA中学习的权重一样好。参加：国际学习代表大会（2019年）。https://openreview.net/forum？id=B1lnzn0ctQ
[21] 路易斯，阿拉斯加州，《逆向与Schlecht-Gestellte问题》（1989），威斯巴登：Vieweg+Teubner Verlag，威斯巴丹·Zbl 0667.65045号
[22] Maass，P.，《琐碎逆问题的深度学习》，195-209（2019），查姆：斯普林格，查姆·Zbl 1496.68287号
[23] Mataev，G.、Elad，M.、Milanfar，P.：深度：红色之前的深度图像（2019年）。arXiv预打印arXiv:1903.10176
[24] Meinhardt，T.，Möller，M.，Hazirbas，C.，Cremers，D.：学习近端算子：使用去噪网络正则化逆成像问题。摘自：IEEE计算机视觉国际会议，第1781-1790页（2017）
[25] Moreau，T.，Bruna，J.：通过矩阵分解理解可训练稀疏编码（2016）。arXiv预打印arXiv:1609.00285
[26] Nesterov，Y.：凸优化讲座。Springer优化及其应用。施普林格（2019）。https://books.google.de/books？id=JSyNtQEACAAJ ·Zbl 1427.90003号
[27] 帕皮安，V。；罗曼诺，Y。；Sulam，J。；Elad，M.，《通过稀疏表示进行深度学习的理论基础：多层稀疏模型及其与卷积神经网络的连接》，IEEE信号处理。Mag.，35，4，72-89（2018）·doi:10.1109/MSP.2018.2820224
[28] Rieder，A.，Keine Probleme mit reversen Problemen:eine Einfühhrung in ihre stabile Lösung（2003），威斯巴登：威斯巴登维埃格·Zbl 1057.65035号
[29] Saxe，A.M.，McClelland，J.L.，Ganguli，S.：深层线性神经网络学习非线性动力学的精确解（2013）。arXiv预印本arXiv:1312.6120
[30] Sprechmann，P。；AM布朗斯坦；Sapiro，G.，学习高效稀疏和低秩模型，IEEE Trans。模式分析。机器。智力。，37, 9, 1821-1833 (2015) ·doi:10.1109/TPAMI.2015.2392779
[31] Sulam，J.、Abedam，A.、Beck，A.、Elad，M.：关于多层基追踪、高效算法和卷积神经网络。IEEE传输。模式分析。机器。智力。(2019). arXiv预印本arXiv:1806.00701·Zbl 1499.65153号
[32] Van Veen，D.、Jalal，A.、Price，E.、Vishwanath，S.、Dimakis，A.G.：深度图像先验和学习正则化的压缩感知（2018）。arXiv预打印arXiv:1806.06438
[33] Vonesch，C.，Unser，M.：小波正则化反褶积的快速迭代阈值算法-技术编号67010d。收录于：Wavelets Xii，第1部分和第2部分，第6701卷，第D7010-D7010页（2007）
[34] Xin，B.，Wang，Y.，Gao，W.，Wipf，D.，Wang？摘自：《神经信息处理系统进展》，第4340-4348页（2016年）
[35] Zhang，C.，Bengio，S.，Hardt，M.，Recht，B.，Vinyals，O.：理解深度学习需要重新思考泛化（2016）。arXiv预打印arXiv:1611.03530
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。