×
英、乐兴

通过深度学习解决逆向问题。 （英语） Zbl 07822589号

Beliaev，Dmitry（编辑）等人，《2022年国际数学家大会》，ICM 2022，芬兰赫尔辛基，虚拟，2022年7月6日至14日。第7卷。第15-20节。柏林：欧洲数学学会（EMS）。5154-5175 (2023).
摘要：我们讨论了最近关于将深度学习应用于反问题的一些工作。在算法方面，我们提出了两个新的神经网络模块，BCR-Net和Switch-Net，其动机是在反问题研究中常见的伪微分和傅里叶积分算子。在应用方面，我们提出了神经网络在五个应用中的逆映射：电阻抗层析成像、光学层析成像、逆声散射、地震成像和旅行时层析成像。在每个应用程序中，该架构都是由扰动理论和滤波反投影驱动的，并使用新模块和卷积层来实现。当平移和旋转等方差可用时，数据和模型域中的适当重新参数化会产生通用且有效的卷积结构。这些应用表明，我们的方法为将反问题的数学结构与深度神经网络的能力结合起来提供了一种无缝的方法。
关于整个系列，请参见[Zbl 1532.00041号].

MSC公司：

65N21型 含偏微分方程边值问题反问题的数值方法
65纳米99 偏微分方程边值问题的数值方法
68T07型 人工神经网络与深度学习
65兰特 积分方程反问题的数值方法
78A46型 光学和电磁理论中的逆问题（包括逆散射）
74J25型 固体力学中的波反问题
86A22型 地球物理学中的反问题
65层55 低秩矩阵近似的数值方法；矩阵压缩
35平方米 伪微分算子作为偏微分算子的推广

关键词：

反问题;神经网络;深度学习

软件：

PyTorch公司;图像网络;PDE-网络;TensorFlow公司
PDF格式BibTeX公司 XML格式引用
\textit{L.Ying}，in：2022年国际数学家大会，ICM 2022，芬兰赫尔辛基，虚拟，2022年7月6日至14日。第7卷。第15-20节。柏林：欧洲数学学会（EMS）。5154——5175（2023年；Zbl 07822589）
全文： 内政部
OA许可证

参考文献：

[1] M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J.Dean、M.Devin、S.Ghe-mawat、G.Irving、M.Isard等，《Tensorflow:大规模机器学习系统》。第十二届USENIX操作系统设计与实现研讨会（OSDI 16），第265-283页，2016年。
[2] J·阿德勒和O·Øktem，使用迭代深度神经网络解决病态逆问题。反向探测。33（2017），第12期，124007·Zbl 1394.92070号
[3] H.Andrade-Loarca、G.Kutyniok、O.Øktem和P.Petersen，《有限角度断层扫描的深部微局部重建》。2021年，arXiv:2108.05732。
[4] V.Antun、F.Renna、C.Poon、B.Adcock和A.C.Hansen，《图像重建中深度学习的不稳定性和人工智能的潜在成本》。国家。阿卡德。科学。117（2020），编号48，30088-30095。
[5] M.Araya-Polo、J.Jennings、A.Adler和T.Dahlke，《深度学习层析成像》。领导。Edge 37（2018），第1期，58-66页。
[6] S.Arridge、P.Maass、O.Øktem和C.-B.Schönlieb，《使用数据驱动模型解决反问题》。Acta Numer公司。28 (2019), 1-174. ·Zbl 1429.65116号
[7] L.Bar和N.Sochen，基于PDE的正向和反向问题的无监督深度学习算法。2019年，arXiv:1904.05417。
[8] J.Berg和K.Nyström，复杂几何中par-tial微分方程的统一深度人工神经网络方法。神经计算317（2018），28-41。
[9] G.Beylkin、R.Coifman和V.Rokhlin，快速小波变换和数值算法I.Comm.Pure Appl。数学。44（1991），第2141-183号·Zbl 0722.65022号
[10] T.A.Bubba、M.Galinier、M.Lassas、M.Prato、L.Ratti和S.Siltanen，《伪微分算子反问题的深层神经网络：有限角层析成像的应用》。SIAM J.成像科学。14（2021），第2期，470-505页·Zbl 1489.44003号
[11] E.J.Candès，稀疏性数学（以及其他一些东西）。《国际数学家大会会议记录》，韩国首尔123，Citeser，2014年。
[12] G.Carleo和M.Troyer，用人工神经网络解决量子多体问题。《科学》355（2017），第6325、602-606号·Zbl 1404.81313号
[13] J.Cheng，H.Wang，Y.Zhu，Q.Liu，Q.Zhang，T.Su，J.Chen，Y.Ge，Z.Hu，X.Liu等，基于模型的深度医学成像：使用深度学习推广迭代重建模型的路线图。2019年，arXiv:1906.08143。
[14] M.J.Colbrook、V.Antun和A.C.Hansen，能否计算稳定准确的神经网络-关于深度学习的障碍和斯梅尔的第十八个问题。2021年，arXiv:2101.08286。
[15] M.V.de Hoop、M.Lassas和C.A.Wong，非线性算子函数和非线性逆问题的深度学习架构。2019年，arXiv:1912.11090。
[16] W.E和B.Yu，《深层Ritz方法：一种基于深度学习的数值算法，用于求解变分问题》。公社。数学。《统计》第6卷（2018年），第1期，第1-12页·兹比尔1392.35306
[17] Y.Fan、C.O.Bohorquez和L.Ying，《BCR-Net：基于非标准小波形式的神经网络》，《计算杂志》。物理学。384 (2019), 1-15. ·Zbl 1451.65244号
[18] Y.Fan、J.Feliu-Fabá、L.Lin、L.Ying和L.Zepeda-Nüñez，基于层次嵌套基的多尺度神经网络。Res.数学。科学。第6期（2019年），第2期，第21期·Zbl 07096701号
[19] Y.Fan、L.Lin、L.Ying和L.Zepeda-Nünez，基于层次矩阵的多尺度神经网络。多尺度模型。模拟。17（2019），第4期，1189-1213·Zbl 1435.65181号
[20] Y.Fan和L.Ying，通过深度学习解决逆波散射。2019年，arXiv:1911.13202。
[21] Y.Fan和L.Ying，用深度学习解决光学层析成像。2019年，arXiv:1910.04756。
[22] Y.Fan和L.Ying，用深度学习解决旅行时层析成像。2019年，arXiv:1911.11636。
[23] Y.Fan和L.Ying，用深度学习解决电阻抗断层成像。J.计算。物理学。404 (2020), 109119. ·Zbl 1453.65041号
[24] M.Genzel、J.Macdonald和M.März，用深度神经网络解决反问题——包括鲁棒性？2020年，arXiv:2011.04268。
[25] D.Gilton、G.Ongie和R.Willett，成像中线性逆问题的Neumann网络。IEEE传输。计算。图像6（2019），328-343。
[26] I.Goodfellow、Y.Bengio、A.Courville和Y.Benjio，深度学习1，麻省理工学院出版社，剑桥，2016年·Zbl 1373.68009号
[27] N.M.Gottschling、V.Antun、B.Adcock和A.C.Hansen，《麻烦的内核：为什么反问题的深度学习通常不稳定》。2020年，arXiv:2001.01258。
[28] L.Greengard和V.Rokhlin，粒子模拟的快速算法。J.计算。物理学。73（1987），第2期，325-348·Zbl 0629.65005号
[29] W.Hackbusch、L.Grasedyck和S.Börm，《层次矩阵导论》。数学。博昂。127（2002），第229-241号·Zbl 1007.65032号
[30] J.Han和A.Jentzen W.E，使用深度学习求解高维偏微分方程。程序。国家。阿卡德。科学。115（2018），第34期，8505-8510·Zbl 1416.35137号
[31] J.Han，L.Zhang，R.Car和W.E，《深势：多体势能表面的一般表示》。公社。计算。物理学。23（2018），编号3629-639·Zbl 1488.81038号
[32] P.Hand和V.Voroninski，通过经验风险强制执行深层生成性先验的全球保障。学习理论会议，第970-978页，PMLR，2018年。
[33] A.Hauptmann，J.Adler，S.Arridge，和O.Øktem，多尺度学习迭代重建。IEEE传输。计算。《成像6》（2020年），843-856。
[34] G.Hinton、L.Deng、D.Yu、G.E.Dahl、A.r.Mohamed、N.Jaitly、A.Senior、V.Vanhoucke、P.Nguyen、T.N.Sainath和B.Kingsbury，语音识别中声学建模的深层神经网络：四个研究小组的共同观点。IEEE信号处理。Mag.29（2012），第6期，82-97。
[35] H.Kabir、Y.Wang、M.Yu和Q.-J.Zhang，神经网络逆建模及其在微波滤波器设计中的应用。IEEE传输。《微波理论技术》56（2008），第4期，867-879。
[36] Y.Khoo、J.Lu和L.Ying，使用人工神经网络求解高维提交函数。Res.数学。科学。6（2019），第1、1号·Zbl 1498.60222号
[37] Y.Khoo、J.Lu和L.Ying，用人工神经网络解决参数PDE问题。欧洲J.Appl。数学。32（2021年），第3期，421-435·Zbl 1501.65154号
[38] Y.Khoo和L.Ying，SwitchNet:前向和反向散射问题的神经网络模型。SIAM J.科学。计算。41（2019），第5号，A3182-A3201·Zbl 1425.65208号
[39] Q.Kong、D.T.Trugman、Z.E.Ross、M.J.Bianco、B.J.Meade和P.Gerstoft，《地震学中的机器学习：将数据转化为见解》。地震波。Res.Lett公司。90（2019），第1期，第3-14页。
[40] A.Krizhevsky、I.Sutskever和G.E.Hinton，深度卷积神经网络的Imagenet分类。高级神经信息处理。系统。25（2012），1097-1105。
[41] G.Kutyniok、P.Petersen、M.Raslan和R.Schneider，深度神经网络和参数PDE的理论分析。施工。约（2021年），1-53。
[42] Y.LeCun、Y.Bengio和G.Hinton，深度学习。《自然》521（2015），第436号。
[43] M.K.K.Leung、H.Y.Xiong、L.J.Lee和B.J.Frey，组织调节剪接编码的深度学习。生物信息学30（2014），第12期，i121-i129。
[44] 李毅，陆建军，毛安，物理模型解图的神经网络近似的变分训练。J.计算。物理学。409 (2020), 109338. ·Zbl 1435.68292号
[45] Y.Li、H.Yang、E.R.Martin、K.L.Ho和L.Ying，蝴蝶因子分解。多尺度模型。模拟。13（2015），第2期，714-732·Zbl 1317.44004号
[46] Z.Long、Y.Lu、X.Ma和B.Dong PDE-net，从数据中学习PDE。在国家间机器学习会议上，第3208-3216页，PMLR，2018。
[47] A.Lucas、M.Iliadis、R.Molina和A.K.Katsaggelos，使用深层神经网络解决成像中的逆问题：超越分析方法。IEEE信号处理。Mag.35（2018），第1期，20-36页。
[48] J.Ma、R.P.Sheridan、A.Liaw、G.E.Dahl和V.Svetnik，深度神经网络作为定量结构-活性关系的方法。化学杂志。信息模型。55（2015），第2期，263-274。
[49] M.T.McCann和M.Unser，生物医学图像重建：从基础到深层神经网络。2019年，arXiv:1901.03565。
[50] V.Monga、Y.Li和Y.C.Eldar，《算法展开：信号和图像处理的可解释、高效深度学习》。IEEE信号处理。Mag.38（2021），第2期，18-44页。
[51] G.Ongie、A.Jalal、C.A.Metzler、R.G.Baraniuk、A.G.Dimakis和R.Willett，成像逆问题的深度学习技术。IEEE J.选择。区域信息理论1（2020），第1期，39-56。
[52] A.Paszke、S.Gross、F.Massa、A.Lerer、J.Bradbury、G.Chanan、T.Killeen、Z.Lin、N.Gimelshein、L.Antiga等人，《PyTorch：一个命令式、高性能的深度学习库》。高级神经信息处理。系统。32 (2019), 8026-8037.
[53] P.Putzky和M.Welling，倒装学习倒装。高级神经信息处理。系统。32 (2019), 446-456.
[54] M.Raissi和G.E.Karniadakis，《隐藏物理模型：非线性偏微分方程的机器学习》。J.计算。物理学。357 (2018), 125-141. ·Zbl 1381.68248号
[55] M.Raissi、P.Perdikaris和G.E.Karniadakis，《基于物理的神经网络：解决非线性偏微分方程正问题和逆问题的深度学习框架》。J.计算。物理学。378 (2019), 686-707. ·Zbl 1415.68175号
[56] S.Ravishankar、J.C.Ye和J.A.Fessler，《图像重建：从稀疏到数据自适应方法和机器学习》。程序。IEEE 108（2019），第1期，86-109。
[57] K.Rudd和S.Ferrari，使用人工神经网络求解偏微分方程的约束积分（CINT）方法。神经计算155（2015），277-285。
[58] J.Schmidhuber，《神经网络中的深度学习：概述》。神经网络。61 (2015), 85-117.
[59] E.M.Stein和T.S.Murphy，《谐波分析：实变量方法、正交性和振荡积分3》，普林斯顿大学出版社，1993年·Zbl 0821.42001号
[60] I.Sutskever、O.Vinyals和Q.V.Le，使用神经网络进行序列到序列学习。高级神经信息处理。系统。27 (2014), 3104-3112.
[61] C.Tan、S.Lv、F.Dong和M.Takei，电阻层析成像中基于卷积神经网络的图像重建。IEEE Sens.J.19（2018），第1期，196-204。
[62] P.R.Wiecha、A.Arbouet、C.Girard和O.L.Muskens，《纳米光子学的深度学习：逆向设计及其以外》。光子。第9号决议（2021年），第5号，B182-B200。
[63] 张海明、董碧，医学影像重建深度学习综述。《运营杂志》。中国研究社会（2020），1-30。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。