李，马修;洛朗·德马内特;莱昂纳多·泽佩达·努涅斯 宽带蝶形网络：通过多频率神经网络进行稳定高效的反演。 （英语） Zbl 1498.65231号 多尺度模型。模拟。 20，第4期，1191-1227（2022）。 摘要：我们引入了一种端到端的深度学习架构，称为宽带蝶形网络（WideBNet），用于从宽带散射数据近似逆散射图。该体系结构结合了计算谐波分析工具（如蝴蝶分解）和传统多尺度方法（如Cooley-Tukey FFT算法），以大幅减少可训练参数的数量，以匹配问题的固有复杂性。因此，WideBNet是高效的：与离线架构相比，它需要更少的训练点，并且具有与标准权重初始化策略兼容的稳定训练动态。该体系结构自动适应数据的维度，只需用户指定几个超参数。WideBNet能够生成与基于优化的方法相竞争的图像，但成本很低，并且我们还通过数字演示了它可以学习使用全孔径配置超分辨率散射体。 引用于1文件 MSC公司： 65立方厘米 积分方程反问题的数值方法 68T07型 人工神经网络与深度学习 关键词：反问题;神经网络;计算谐波分析;逆散射 软件：亚当;像素x像素;掌中宽带;循环GAN;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{M.Li}等人，多尺度模型。模拟。20，第4号，1191--1227（2022；Zbl 1498.65231） 全文： 内政部 arXiv公司 参考文献： [1] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.版本，I.、Talwar，K.、Tucker，P.、Vanhoucke，V.、Vasudevan，V.，Viégas，F.、Vinyals，O.、Warden，P.，Wattenberg，M.、Wicke，M..、Yu，Y.和Zheng，X.，TensorFlow:异构系统上的大规模机器学习，软件可从TensorFlow.org获得。网址：https://www.tensorflow.org/, 2015. [2] Aggarwal，H.K.、Mani，M.P.和Jacob，M.，MoDL:基于模型的反问题深度学习体系结构，IEEE Trans。医学影像学，38（2019），第394-405页。 [3] Alkhalifah，T.，基于散射角的波形反演梯度滤波，地球物理。《国际期刊》，200（2014），第363-373页，doi:10.1093/gji/ggu379。 [4] Atkinson，D.和Aparicio，N.D.，《反平面应变下粘弹性材料裂纹检测的反问题方法》，国际工程科学杂志。，35（1997），第841-849页，doi:10.1016/S0020-7225（97）80003-1·Zbl 0914.73041号 [5] 巴科斯，G.和吉尔伯特，F.，总地球数据的分辨率，地球物理学。《国际期刊》，16（1968），第169-205页，doi:10.1111/J.1365-246X.1968.tb00216.x·兹标0177.54102 [6] Baysal，E.、Kosloff，D.D.和Sherwood，J.W.C.，《逆时偏移》，《地球物理学》，48（1983），第1514-1524页，doi:10.1190/1.1441434。 [7] Bengio，Y.、Simard，P.和Frasconi，P.，学习梯度下降的长期依赖性很困难，IEEE Trans。神经网络，5（1994），第157-166页，doi:10.1109/72.279181。 [8] 贝伦格，J.-P.，《电磁波吸收的完美匹配层》，J.Compute。物理。，114（1994），第185-200页·Zbl 0814.65129号 [9] Blalock，D.、Ortiz，J.J.G.、Frankle，J.和Guttag，J.，神经网络修剪的状态是什么？，预印本，https://arxiv.org/abs/2003.03033, 2020. [10] Borges，C.、Gillman，A.和Greengard，L.，使用递归线性化的二维高分辨率逆散射，SIAM J.成像科学。，10（2017），第641-664页，doi:10.1137/16M1093562·Zbl 1371.35027号 [11] Börm，S.、Börst，C.和Melenk，J.M.，蝴蝶算法分析，计算。数学。申请。，74（2017），第2125-2143页，doi:10.1016/j.camwa.2017.05.019·Zbl 1396.65171号 [12] Bruna，J.和Mallat，S.，不变散射卷积网络，IEEE Trans。模式分析。机器。英特尔。，35（2013），第1872-1886页。 [13] Burger，M.和Osher，S.J.，《关于反问题和优化设计的水平集方法的调查》，《欧洲应用杂志》。数学。，16（2005），第263-301页，doi:10.1017/S0956792505006182·Zbl 1091.49001号 [14] Cai，W.，Li，X.，and Liu，L.，（PhaseDNN-一种用于自适应宽带学习的并行相移深度神经网络，预印本，https://arxiv.org/abs/1905.01389, 2019. [15] 蔡伟，徐振强，求解高维偏微分方程的多尺度深度神经网络，预印本，https://arxiv.org/abs/1910.11710, 2019. [16] Candès，E.、Demanet，L.和Ying，L.，傅里叶积分算子计算的快速蝶形算法，多尺度模型。同时。，7（2009），第1727-1750页，doi:10.1137/080734339·Zbl 1184.65125号 [17] Candès，E.J.和Fernandez-Granda，C.，噪声数据的超分辨率，J.Fourier Ana。申请。，19（2013），第1229-1254页，doi:10.1007/s00041-013-9292-3·兹比尔1312.94015 [18] Candès，E.J.和Fernandez-Granda，C.，走向超分辨率的数学理论，Comm.Pure Appl。数学。，67（2014），第906-956页，doi:10.1002/cpa.21455·Zbl 1350.94011号 [19] Chen，Y.，Lu，L.，Karniadakis，G.E.和Negro，L.D.，纳米光学和超材料反问题的物理信息神经网络，Opt。快报，28（2020），第11618-11633页，doi:10.1364/OE.384875。 [20] Cheney，M.，《合成孔径雷达数学教程》，SIAM Rev.，43（2001），第301-312页，doi:10.1137/S0036144500368859·Zbl 1054.78016号 [21] Cipra，B.A.，《20世纪最好的算法：编辑命名十大算法》，SIAM新闻，33（2000），第1-2页。 [22] Cohen，N.、Sharir，O.和Shashua，A.，《深度学习的表现力：张量分析》，《学习理论会议》，PMLR，2016年，第698-728页。 [23] Colli，A.、Prati，D.、Fraquelli，M.、Segato，S.、Vescovi，P.、Colombo，F.、Balduini，C.、Della Valle，S.和Casazza，G.，《使用袖珍超声设备改善体检：门诊和住院队列研究结果》，PLOS ONE，10（2015），第1-10页，doi:10.1371/journal.pone.0122181·Zbl 0714.65036号 [24] Colton，D.和Kirsch，A.，《求解共振区逆散射问题的简单方法》，《逆问题》，12（1996），第383-393页，doi:10.1088/0266-5611/12/4/003·Zbl 0859.35133号 [25] Colton，D.和Kress，R.，《散射理论中的积分方程方法》，经典应用。数学。72，SIAM，费城，2013，doi:10.1137/1.9781611973167·Zbl 1291.35003号 [26] Colton，D.和Kress，R.，《逆声电磁散射理论》，第三版，Springer-Verlag，纽约，2013年，doi:10.1007/978-1-4614-4942-3·Zbl 1266.35121号 [27] Cooley，J.W.和Tukey，J.W.，《复数傅里叶级数机器计算的算法》，《数学》。计算。，19（1965），第297-301页，http://www.jstor.org/stable/2003354。 ·Zbl 0127.09002号 [28] Dao，T.、Gu，A.、Eichhorn，M.、Rudra，A.和Ré，C.，使用蝶形分解学习线性变换的快速算法，Proc。机器。学习。研究，97（2019），第1517-1527页。 [29] de Buhan，M.和Darbas，M.，固定频率下电磁逆介质问题的数值解，计算。数学。申请。，74（2017），第3111-3128页，doi:10.1016/j.camwa.2017.08.002·Zbl 1397.65242号 [30] de Buhan，M.和Kray，M.，《解决波浪逆散射问题的新方法：结合TRAC和自适应反演方法》，《逆问题》，29（2013），085009，doi:10.1088/0266-5611/29/8/085009·Zbl 1279.65115号 [31] Demanet，L.和Ying，L.，《通过傅里叶积分算子进行快波计算》，数学。计算。，81（2012），第1455-1486页·Zbl 1245.65140号 [32] Donoho，D.L.，通过稀疏约束实现超分辨率，SIAM J.Math。分析。，23（1992），第1309-1331页，doi:10.1137/0523074·Zbl 0769.42007 [33] Engquist，B.和Ying，L.，亥姆霍兹方程的扫描预条件：移动完美匹配层，多尺度模型。同时。，9（2011），第686-710页，doi:10.1137/100804644·Zbl 1228.65234号 [34] Fan，Y.，Feliu Fabà，J.，Lin，L.，Ying，L.和Zepeda-Núñez，L.，一种基于层次嵌套基的多尺度神经网络，研究数学。科学。，6（2019），21，doi:10.1007/s40687-019-0183-3·Zbl 07096701号 [35] Fan，Y.和Ying，L.，用深度学习解决逆波散射，预印本，https://arxiv.org/abs/1911.13202, 2019. [36] Fan，Y.和Ying，L.，用深度学习解决光学层析成像，预印本，https://arxiv.org/abs/1910.04756, 2019. [37] Fan，Y.和Ying，L.，用深度学习解决旅行时层析成像，预印本，https://arxiv.org/abs/11911.11636, 2019. [38] Fichtner，A.和Trampert，J.，全波形反演中的分辨率分析，地球物理学。《国际期刊》，187（2011），第1604-1624页，doi:10.1111/J.1365-246x.2011.05218.x。 [39] Garnier，J.和Papanicolaou，G.，《环境噪声的被动成像》，剑桥大学学报。申请。计算。数学。，剑桥大学出版社，英国剑桥，2016年·Zbl 1352.86001号 [40] Gilton，D.、Ongie，G.和Willett，R.，《成像逆问题的Neumann网络》。预印本，https://arxiv.org/abs/1901.03707 , 2019. [41] Goodfellow，I.、Bengio，Y.和Courville，A.，《深度学习》，麻省理工学院出版社，马萨诸塞州剑桥，2016年·Zbl 1373.68009号 [42] Goodfellow，I.、Pouget-Abadie，J.、Mirza，M.、Xu，B.、Warde-Farley，D.、Ozair，S.、Courville，A.和Bengio，Y.，《生成对抗网》，《神经信息处理系统进展》27，Ghahramani，Z.、Welling，M.，Cortes，C.、Lawrence，N.D.和Weinberger，K.Q.编，Curran Associates，纽约州Red Hook，2014年，第2672-2680页，http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf。 ·Zbl 0714.65036号 [43] Gutenberg，B.，Ueber Erdbebenwellen。VII A.Beobashtungen an Registrierungen von Fernbeben in Göttingen und Folgerungüber die Konstitution des Erdkörpers（麻省理工学院塔菲尔分校），Mathematisch-Physikalische Klasse，1914，（1914），第125-176页，http://eudml.org/doc/58907。 [44] He，K.和Sun，J.，时间成本受限的卷积神经网络。IEEE计算机视觉和模式识别会议（CVPR），IEEE，华盛顿特区，2015年，第5353-5360页。 [45] Hörmander，L.《线性偏微分算子的分析》，数学经典。63，施普林格，柏林，2009年·Zbl 1178.35003号 [46] Hornik，K.，Stinchcombe，M.和White，H.，使用多层前馈网络对未知映射及其导数的通用近似，神经网络，3（1990），第551-560页。 [47] Hähner，P.和Hohage，T.，声波非均匀介质逆问题的新稳定性估计及其应用，SIAM J.Math。分析。，33（2001），第670-685页，doi:10.1137/S0036141001383564·Zbl 0993.35091号 [48] Innes，M.，Edelman，A.，Fischer，K.，Rackauckas，C.，Saba，E.，Shah，V.B.，and Tebbutt，W.，一个可差分编程系统，用于连接机器学习和科学计算，预印本，https://arxiv.org/abs/1907.07587, 2019. [49] Isola，P.、Zhu，J.、Zhou，T.和Efros，A.A.，使用条件对抗网络进行图像到图像的转换，摘自《IEEE计算机视觉和模式识别会议论文集》，IEEE，华盛顿特区，2017年，第5967-5976页，doi:10.1109/CVPR.2017.632。 [50] Kang，E.，Chang，W.，Yoo，J.和Ye，J.C.，通过小波残差网络表示低剂量CT的深卷积框架，IEEE Trans。医学影像学，37（2018），第1358-1369页。 [51] Khoo，Y.和Ying，L.，SwitchNet：前向和反向散射问题的神经网络模型，SIAM J.Sci。计算。，41（2019），第A3182-A3201页，doi:10.1137/18M1222399·Zbl 1425.65208号 [52] Kingma，D.和Ba，J.Adam：一种随机优化方法，《学习表征国际会议（ICLR）论文集》，加利福尼亚州圣地亚哥，2015年。 [53] Kingma，D.P.和Welling，M.《自动编码变分贝叶斯》，《第二届学习表征国际会议论文集》，加州班夫，2014年，第1-14页，https://arxiv.org/abs/1312.6114。 [54] Kirsch，A.和Grinberg，N.，《反问题的因式分解方法》，牛津大学出版社，英国牛津，2008年·Zbl 1222.35001号 [55] Kothari，K.、de Hoop，M.和Dokmanić，I.，《学习基于波的成像的几何结构》，《神经信息处理系统进展》33，Larochelle，H.、Ranzato，M.、Hadsell，R.、Balcan，M.F.和Lin，H.编辑，Curran Associates，Red Hook，NY，2020，第8318-8329页，https://proceedings.neurips.cc/paper/2020/file/5e98d23afe19a774d1b2dcbefd5103eb-paper.pdf。 ·Zbl 0714.65036号 [56] LeCun，Y.、Bengio，Y.和Hinton，G.，《深度学习》，《自然》，521（2015），第436-444页。 [57] Ledig，C.、Theis，L.、Huszár，F.、Caballero，J.、Cunningham，A.、Acosta，A.、Aitken，A.、Tejani，A.、Totz，J.，Wang，Z.和Shi，W.，《使用生成对抗网络的真实感单幅图像超分辨率》，《2017年IEEE计算机视觉和模式识别会议论文集》，IEEE，华盛顿特区，2017年，第105-114页，doi:10.1109/CVPR.2017.19。 [58] Li，Y.，Cheng，X.和Lu，J.，Butterfly-Net：基于卷积神经网络的最优函数表示。预印本，https://arxiv.org/abs/1805.07451, 2018. [59] Li，Y.，Yang，H.，Martin，E.R.，Ho，K.L.和Ying，L.，蝴蝶因子分解，多尺度模型。同时。，13（2015），第714-732页，doi:10.1137/15M1007173·Zbl 1317.44004号 [60] Li，Y.，Yang，H.，Ying，L.，多维蝴蝶因式分解，应用。计算。哈蒙。分析。，44（2018），第737-758页，doi:10.1016/j.acha.2017.04.002·Zbl 1390.44016号 [61] Li，Y.E.和Demanet，L.，外推低频数据的全波反演，地球物理，81（2016），pp.R339-R348，doi:10.1190/geo2016-0038.1。 [62] Li，Z.、Kovachki，N.B.、Azizzadenesheli，K.、liu，B.、Bhattacharya，K.，Stuart，A.和Anandkumar，A.。参数偏微分方程的傅里叶神经算子，国际学习表征会议，2021年，https://openreview.net/forum？id=c8P9NQVtmnO。 [63] Liu，Y.，Xing，X.，Guo，H.，Michielssen，E.，Ghysels，X.S.，and Li，X.S，《通过随机矩阵向量乘法进行蝴蝶因子分解》，预印本，https://arxiv.org/abs/2002.03400, 2020. [64] 罗，T.，马，Z.，Xu，Z.-Q.J.，Zhang，Y.，《一般深度神经网络的频率原理理论》，预印本，https://arxiv.org/abs/arxiv:1906.09235, 2018. [65] Mao，X.，Shen，C.，and Yang，Y.B.《使用具有对称跳跃连接的深度卷积编码器-解码器网络进行图像恢复》，摘自《神经信息处理系统进展》29，Lee，D.D.，Sugiyama，M.，Luxburg，U.V.，Guyon，I.，and Garnett，R.编，Curran Associates，Red Hook，NY，2016年，第2802-2810页·Zbl 0714.65036号 [66] Mhaskar，H.、Liao，Q.和Poggio，T.，《学习功能：深度何时优于浅层》，预印本，https://arxiv.org/abs/1603.00988, 2016. [67] Mirza，M.和Osindero，S.，条件生成对抗网，预印本，http://arxiv.org/abs/1411.1784, 2014. [68] Oberguggenberger，M.和Schwarz，M.，随机介质中的波传播，通过随机傅里叶积分算子进行参数估计和损伤检测，预印本，https://arxiv.org/abs/2009.09389, 2020. [69] Oldham，R.D.，地震揭示的地球内部构造，夸脱。J.地质日志。Soc.，62（1906），第456-475页，doi:10.1144/GSL。JGS.1906.062.01-04.21。 [70] O'Neil，M.、Woolfe，F.和Rokhlin，V.，《快速评估特殊函数变换的算法》，应用。计算。哈蒙。分析。，28（2010），第203-226页，doi:10.1016/j.acha.2009.08.005·Zbl 1191.65016号 [71] Pang，S.和Barbastathis，G.，Lippmann-Schwinger方程的机器学习正则化解，预印本，https://arxiv.org/abs/2010.15117, 2020. [72] Pettit，J.R.、Walker，A.E.和Lowe，M.J.S.，基于弹性波散射有限元建模的超声波无损评估检查中粗糙缺陷的改进检测，IEEE Trans。超声波。费雷尔。，62（2015），第1797-1808页，doi:10.1109/TUFFC.2015.007140。 [73] Poulson，J.、Demanet，L.、Maxwell，N.和Ying，L.，《并行蝶形算法》，SIAM J.Sci。计算。，36（2014），第C49-C65页，doi:10.1137/130921544·Zbl 1290.65127号 [74] Pratt，R.G.，频域地震波形反演，第1部分：物理尺度模型的理论与验证，地球物理，64（1999），第888-901页，doi:10.1190/1.144597。 [75] Raissi，M.和Karniadakis，G.E.，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357（2018），第125-141页，doi:10.1016/j.jcp.2017.11.039·Zbl 1381.68248号 [76] Rawlinson，N.、Pozgay，S.和Fishwick，S.，《地震层析成像：深入地球的窗口》，Phys。地球行星。国际，178（2010），第101-135页，doi:10.1016/j.pepi.2009.10.002。 [77] Rezende，D.J.、Mohamed，S.和Wierstra，D.。深度生成模型中的随机反向传播和近似推理，机器学习国际会议，PMLR，2014年，第1278-1286页，http://proceedings.mlr.press/v32/rezende14.html。 [78] Ronneberger，O.，Fischer，P.和Brox，T.，《U-Net:生物医学图像分割的卷积网络》，Springer，Cham，2015年，第234-241页，doi:10.1007/978-3-319-24574-4_28。 [79] Schomberg，H.，《重建超声断层成像的改进方法》，J.Phys。D： 申请。物理。，11（1978），第L181-L185页，doi:10.1088/0022-3727/11/15/004。 [80] Stefanov，P.、Uhlmann，G.、Vasy，A.和Zhou，H.，《旅行时间层析成像》，《数学学报》。罪。，35（2019），第1085-1114页，doi:10.1007/s10114-019-8338-0·Zbl 1421.53077号 [81] Symes，W.W.和Carazone，J.J.，《差分表面优化速度反演》，《地球物理学》，56（1991），第654-663页，doi:10.1190/1.1443082。 [82] Tarantola，A.，《声学近似下地震反射数据反演》，《地球物理》，49（1984），第1259-1266页，doi:10.1190/1.1441754。 [83] van Leeuwen，T.和Herrmann，F.J.，通过扩展搜索空间缓解全波形反演中的局部极小值，Geophys。《国际期刊》，195（2013），第661-667页，doi:10.1093/gji/ggt258。 [84] Virieux，J.、Asnaashari，A.、Brossier，R.、Métiver，L.、Ribodetti，A.和Zhou，W.，6。全波形反演简介，见《勘探地球物理学百科全书》，德克萨斯州休斯顿勘探地球物理学家学会，2017年，第R1-1-R1-40页，doi:10.1190/1.9781560803027.entry6·Zbl 0714.65036号 [85] Virieux，J.和Operto，S.，《勘探地球物理学中的全波形反演概述》，《地球物理学》，74（2009），第WCC1-WCC26页，doi:10.1190/1.3238367。 [86] Xu，Z.，Li，Y.，and Cheng，X.，《蝴蝶网2：简化蝴蝶网和傅里叶变换初始化》，《第一届数学和科学机器学习会议论文集》（新泽西州普林斯顿），Lu，J.和Ward，R.编辑，PMLR，2020年，第431-450，107页，http://proceedings.mlr.press/v107/xu20b.html。 [87] Xu，Z.-Q.J.，具有一般损失函数的深度学习中的频率原理及其潜在应用，预印本，https://arxiv.org/abs/arxiv:1811.11146（中文）, 2018. [88] Xu，Z.-Q.J.，Zhang，Y.和Xiao，Y.，频域中深度神经网络的训练行为，《神经信息处理》，Gedeon，T.，Wong，K.W.和Lee，M.编辑，Springer，Cham，2019，第264-274页。 [89] Yao，S.、Hu，S.，Zhao，Y.、Zhang，A.和Abdelzaher，T.，《DeepSense:时间序列移动传感数据处理的统一深度学习框架》，载《第26届万维网国际会议论文集》，WWW’17，日内瓦共和国和州，CHE，2017年，国际万维网会议指导委员会，第351-360页，doi:10.1145/3038912.3052577。 [90] Yao，S.，Piao，A.，Jiang，W.，Zhao，Y.，Shao，H.，Liu，doi:10.1145/3308558.3313426。 [91] Ye，J.C.、Han，Y.和Cha，E.，《深度卷积框架：反问题的一般深度学习框架》，SIAM J.Imaging Sci。，11（2018），第991-1048页，doi:10.1137/17M1141771·兹比尔1401.94024 [92] Zepeda-Nüñez，L.，Chen，Y.，Zhang，J.，Jia，W.，Zheng，L.和Lin，L.《深层密度：通过对称保持神经网络规避Kohn-Sham方程》，J.Compute。物理。，443（2021），110523，doi:10.1016/j.jcp.2021.110523·Zbl 07515422号 [93] Zepeda-Nüñez，L.和Demanet，L.，《2D亥姆霍兹方程的极化轨迹方法》，J.Compute。物理。，308（2016），第347-388页，doi:10.1016/j.jcp.2015.11.040·Zbl 1351.76197号 [94] Zhang，J.、Zepeda-Nüñez，L.、Yao，Y.和Lin，L.，学习映射（mathbf{x}\mapsto\sum_{i=1}^dx_i^2）：大海捞针的成本，Commun。申请。数学。计算。，3（2021年），第313-335页·Zbl 1476.68242号 [95] Zhang，L.，Han，J.，Wang，H.，Car，R.和E，W.，《深势分子动力学：具有量子力学准确性的可伸缩模型》，《物理学》。修订稿。，120 (2018), 143001. [96] Zhang，L.、Han，J.、Wang，H.、Car，R.和E，DeepCG：通过深度神经网络构建粗粒度模型，J.Chem。物理。，149（2018），第034101页，doi:10.1063/1.5027645。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。