×

用物理感知的神经网络解决逆-PDE问题。 (英语) Zbl 07512372号

摘要:我们提出了一种新的复合框架,用于在偏微分方程(PDE)反问题的背景下发现未知域。我们将深度神经网络作为通用函数估计量的高可表达性与现有偏微分方程数值算法作为语义自动编码器中的自定义层的准确性和可靠性相结合。我们的设计将计算数学、机器学习和模式识别技术结合在一起,将特定领域的知识和物理约束结合起来,以发现潜在的隐藏字段。与大多数现有方法相比,该网络通过硬编码PDE解算器层明确了解控制物理,这些方法将控制方程纳入损失函数或依赖可训练卷积层从数据中发现适当的离散化。随后,这将计算负载集中于仅发现隐藏字段,因此数据效率更高。我们称这种结构为混合逆-PDE网络(以下称为BiPDE网络),并证明其适用于恢复一维和二维泊松问题中的可变扩散系数,以及一维含时和非线性Burgers方程中的扩散系数。我们还表明,学习的隐藏参数对输入数据中的附加噪声具有鲁棒性。

MSC公司:

6500万 偏微分方程、初值和含时初边值问题的数值方法
68泰克 人工智能
35季度xx 数学物理偏微分方程及其他应用领域
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] M.阿巴迪。;阿加瓦尔,A。;巴勒姆,P。;Brevdo,E。;陈,Z。;Citro,C。;Corrado,G.S。;A.戴维斯。;迪安·J。;Devin,M.,Tensorflow:异构分布式系统上的大规模机器学习(2016),预印本
[2] Aragon-Calvo,M.A.,物理感知神经网络的自我监督学习,I:星系模型拟合(2019年),预印本
[3] 贝利,R.R。;Srinath,M.,用于参数和非参数分类器的正交矩特征,IEEE Trans。模式分析。马赫。智力。,18, 4, 389-399 (1996)
[4] Bar,L。;Sochen,N.,基于PDE的正问题和逆问题的无监督深度学习算法(2019年),预印本
[5] Belkasim,S.O。;Shridhar,M。;艾哈迈迪,M.,《不变矩模式识别:比较研究和新结果》,《模式识别》。,24, 12, 1117-1138 (1991)
[6] 伯格,J。;Nyström,K.,PDE的神经网络增广逆问题(2017),预印本
[7] 伯格,J。;Nyström,K.,复杂数据集中PDE的数据驱动发现,计算物理杂志,384,239-252(2019)·Zbl 1451.68239号
[8] 扫帚头,D.S。;Lowe,D.,《径向基函数、多变量函数插值和自适应网络》(1988年),技术报告,皇家信号和雷达研究所马尔文(英国)·Zbl 0657.68085号
[9] Burgers,J.M.,《说明湍流理论的数学模型》,《应用力学进展》,第1卷,171-199(1948),Elsevier
[10] Chandrasekaran,A。;卡马尔,D。;巴特拉,R。;Kim,C。;Chen,L。;Ramprasad,R.,用机器学习解决电子结构问题,NPJ Compute。材料。,5, 1, 22 (2019)
[11] Chartrand,R.,噪声、非光滑数据的数值微分,ISRN应用。数学。,2011 (2011) ·Zbl 1242.65045号
[12] F.Cholet等人,Keras,2015年。
[13] Csáji,B.C.,《人工神经网络逼近》,匈牙利埃特夫斯洛恩大学科学院,24,48,7(2001)
[14] Cullum,J.,《数值微分与正则化》,SIAM J.Numer。分析。,8, 2, 254-265 (1971) ·Zbl 0224.65005号
[15] Cybenko,G.,通过sigmoid函数的叠加进行逼近,数学。控制信号系统。,2, 4, 303-314 (1989) ·Zbl 0679.94019号
[16] Dal Santo,N。;德帕里斯,S。;Pegolotti,L.,用约化基和神经网络对参数化偏微分方程进行数据驱动近似,J.Compute。物理。,第109550条pp.(2020)·Zbl 1437.65224号
[17] Darbon,J。;Langlois,G.P。;Meng,T.,通过神经网络结构克服某些Hamilton-Jacobi偏微分方程的维数灾难,Res.Math。科学。,7, 3, 1-50 (2020) ·Zbl 1445.35119号
[18] Debnath,L.,《科学家和工程师非线性偏微分方程》(2011),施普林格科学与商业媒体
[19] Dong,S。;Kettenbach,J。;Hinterleitner,我。;Bergmann,H。;Birkfellner,W.,The Zernike展开——基于正交函数的2D/3D注册的优点函数示例,(医学图像计算和计算机辅助干预国际会议(2008),Springer),964-971
[20] Epstein,C.L.,医学成像数学导论(2007),SIAM
[21] Franke,R.,《分散数据插值:一些方法的测试》,数学。计算。,38, 157, 181-200 (1982) ·Zbl 0476.65005号
[22] Gaitonde,D.V。;Visbal,M.R.,《Navier-Stokes方程的高阶格式:FDL3DI的算法和实现》(1998),技术报告,空军研究实验室Wright-Patterson AFB OH飞行器理事会
[23] 耿,Z。;约翰逊,D。;Fedkiw,R.,《强迫机器学习输出物理上精确的结果》,J.Compute。物理。,第109099条pp.(2019)·Zbl 1453.68164号
[24] Gibou,F。;Fedkiw,R。;Osher,S.,《水平集方法及其最新应用综述》,J.Compute。物理。,353, 82-109 (2018) ·Zbl 1380.65196号
[25] Gibou,F。;海德,D。;Fedkiw,R.,《多相流的夏普接口方法和深度学习技术》,J.Compute。物理。,380, 442-463 (2019) ·Zbl 1451.76131号
[26] Hahnlosser,R.H。;萨尔佩什卡,R。;Mahowald,医学硕士。;道格拉斯·R·J。;Seung,H.S.,《皮质醇激励硅电路中数字选择和模拟放大共存》,《自然》,4056789947(2000)
[27] Han,J。;Jentzen,A。;Weinan,E.,使用深度学习求解高维偏微分方程,Proc。国家。阿卡德。科学。美国,115、34、8505-8510(2018)·Zbl 1416.35137号
[28] Hardy,R.L.,地形和其他不规则表面的多二次方程,J.Geophys。1905-1915年第76、8号决议(1971年)
[29] He,S。;李毅。;Feng,Y。;Ho,S。;拉文巴赫,S。;Chen,W。;Póczos,B.,学习预测宇宙学结构的形成,Proc。国家。阿卡德。科学。美国,第201821458条pp.(2019)
[30] Hedayatpour,M。;Mehrandezh,M。;Janabi-Sharifi,F.,基于配置的四旋翼机动态分析的统一方法,以实现最佳稳定性,(2017年IEEE/RSJ智能机器人和系统国际会议,2017年IEEE/RSJ智能机器人与系统国际会议),IROS(2017),IEEE,5116-5121
[31] Hedayatpour,M。;Mehrandezh,M。;Janabi-Sharifi,F.,《转子故障情况下用于控制坠毁着陆的四旋翼机的精确建模和优化安全设计》,(2019 IEEE/RSJ智能机器人和系统国际会议,2019 IEEE/RSJ智能机器人与系统国际会议),IROS(2019),IEEE),5206-5211
[32] 辛顿,G.E。;北斯利瓦斯塔瓦。;Krizhevsky,A。;Sutskever,I。;Salakhuttinov,R.R.,通过防止特征检测器的协同自适应来改进神经网络(2012),预印本
[33] Hochreiter,S。;Schmidhuber,J.,长短期记忆,神经计算。,9, 8, 1735-1780 (1997)
[34] 荣誉Y.-C。;Mao,X.,Burgers方程的有效数值格式,应用。数学。计算。,95, 1, 37-50 (1998) ·Zbl 0943.65101号
[35] 福克,G.P.J.-P。;Garnier,J。;Solna,K.,《随机分层介质中的波传播和时间反转》(2007),Springer·兹比尔1386.74001
[36] Jin,K.H。;McCann,M.T。;弗鲁斯特,E。;Unser,M.,成像逆问题的深度卷积神经网络,IEEE Trans。图像处理。,26, 9, 4509-4522 (2017) ·Zbl 1409.94275号
[37] Kansa,E.J.,《多重二次曲面——一种离散数据近似方案及其在计算流体动力学中的应用——I:曲面近似和偏导数估计》,《计算》。数学。申请。,19, 8-9, 127-145 (1990) ·Zbl 0692.76003号
[38] Kansa,E.J.,《多重二次曲面——一种离散数据近似格式及其在计算流体动力学中的应用——II:抛物型、双曲型和椭圆型偏微分方程的解》,计算。数学。申请。,19, 8-9, 147-161 (1990) ·Zbl 0850.76048号
[39] Kaye,E.A。;Y.Hertzberg。;马克思,M。;沃纳,B。;纳文,G。;勒沃伊,M。;Pauly,K.B.,Zernike多项式在经颅高强度聚焦超声加速自适应聚焦中的应用,医学物理。,39, 10, 6254-6263 (2012)
[40] Khotanzad,A。;Hong,Y.H.,Zernike矩不变量图像识别,IEEE Trans。模式分析。马赫。智力。,12, 5, 489-497 (1990)
[41] Kingma,D.P。;Ba,J.,Adam:随机优化方法(2014),预印本
[42] Krizhevsky,A。;Sutskever,I。;Hinton,G.E.,用深度卷积神经网络进行ImageNet分类,(神经信息处理系统进展(2012)),1097-1105
[43] 拉加里斯,I.E。;利卡斯,A。;Fotiadis,D.I.,求解常微分方程和偏微分方程的人工神经网络,IEEE Trans。神经网络。,9, 5, 987-1000 (1998)
[44] LeCun,Y。;博图,L。;Y.本吉奥。;Haffner,P.,《基于梯度的学习应用于文档识别》,Proc。IEEE,8622278-2324(1998年)
[45] Ling,J。;Jones,R。;Templeton,J.,《具有不变性系统的机器学习策略》,J.Compute。物理。,318,22-35(2016)·Zbl 1349.76124号
[46] 长,Z。;卢,Y。;Dong,B.,PDE-Net 2.0:使用数字符号混合深度网络从数据中学习PDE,J.Compute。物理。,399,第108925条pp.(2019)·Zbl 1454.65131号
[47] 长,Z。;卢,Y。;马,X。;Dong,B.,PDE-Net:从数据中学习PDE,(机器学习国际会议(2018)),3208-3216
[48] Lu,P.Y。;Kim,S。;Soljać,M.,《使用无监督学习从时空系统中提取可解释的物理参数》,Phys。第十版,第10、3条,第031056页(2020年)
[49] 马斯,A。;Le,Q.V。;O'neil,T.M。;葡萄酒,O。;Nguyen,P。;Ng,A.Y.,鲁棒ASR中用于降噪的递归神经网络,(INTERSPEECH(2012))
[50] Markelj,P.等人。;托马·埃维奇(Tomaíević),D。;利卡,B。;Pernuš,F.,《图像引导干预的3d/2d配准方法综述》,《医学图像分析》。,16, 3, 642-661 (2012)
[51] Mathar,R.J.,《笛卡尔变换的Zernike基础》(2008),预印本
[52] Mistani,P。;吉特·A。;博奇科夫,D。;施耐德,J。;Margetis,D。;拉奇,C。;Gibou,F.,平行四叉树网格上的岛屿动力学模型,J.Compute。物理。,361, 150-166 (2018) ·Zbl 1422.65212号
[53] Mistani,P。;吉特·A。;Poignard,C。;Gibou,F.,《基于Voronoi的细胞聚集电渗透中尺度模拟的并行方法》,J.Compute。物理。,380, 48-64 (2019) ·Zbl 1451.76078号
[54] Nagatani,T.,交通流中的密度波,物理。修订版E,61,43564(2000)
[55] Natterer,F.,《计算机断层成像的数学》(2001),SIAM·Zbl 0973.92020号
[56] Oliphant,T.,《NumPy:NumPy指南》(2006年),Trelgol Publishing:Trellgol Publishing USA
[57] Owhadi,H.,贝叶斯数值均匀化,多尺度模型。模拟。,13, 3, 812-828 (2015) ·Zbl 1322.35002号
[58] Owhadi,H.,《不确定性最佳量化的微积分》,(2015年计算科学与工程SIAM会议,2015年美国犹他州盐湖城计算科学与工程学SIAM会议(2015))
[59] Owhadi,H.,《分层信息游戏中粗糙系数和多分辨率算子分解的多重网格》,SIAM Rev.,59,1,99-149(2017)·Zbl 1358.65071号
[60] 奥瓦迪,H。;Scovel,C.,《算子自适应小波、快速解算器和数值均匀化:从博弈论方法到数值逼近和算法设计》,第35卷(2019年),剑桥大学出版社·Zbl 1477.65004号
[61] H.Owhadi,C.Scovel,F.Schäfer,《统计数值近似》,2019年·Zbl 07146568号
[62] A.Paszke、S.Gross、S.Chintala、G.Chanan、E.Yang、Z.DeVito、Z.Lin、A.Desmaison、L.Antiga、A.Lerer,《PyTorch中的自动区分》,2017年。
[63] Poggio,T。;Girosi,F.,近似和学习网络,Proc。IEEE,781481-1497(1990年)·Zbl 1226.92005号
[64] 普罗科普,R.J。;Reeves,A.P.,基于动量的非遮挡物体表示和识别技术综述,CVGIP,图形。模型图像处理。,54, 5, 438-460 (1992)
[65] 拉加佐尼,R。;Marchetti,E。;瓦伦特,G.,《适用于整个天空的自适应光学校正》,《自然》,403,6765,54(2000)
[66] 莱斯,M。;Karniadakis,G.E.,《隐藏的物理模型:非线性偏微分方程的机器学习》,J.Comput。物理。,357, 125-141 (2018) ·Zbl 1381.68248号
[67] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,使用高斯过程的线性微分方程机器学习,J.Compute。物理。,348, 683-693 (2017) ·Zbl 1380.68339号
[68] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《物理学为基础的深度学习》(第一部分):非线性偏微分方程的数据驱动解(2017年),预印本
[69] 莱斯,M。;佩尔迪卡里斯,P。;Karniadakis,G.E.,《物理学为基础的深度学习》(第二部分):非线性偏微分方程的数据驱动发现(2017),ArXiv
[70] Samsami,K。;Mirbagheri,S.A。;梅什卡蒂,F。;Fu,H.C.,软磁螺旋微机器人的稳定性,流体,5,1,19(2020)
[71] 萨里,M。;Gürarslan,G.,Burgers方程数值解的六阶紧致差分格式,应用。数学。计算。,208, 2, 475-483 (2009) ·Zbl 1159.65343号
[72] Schaeffer,H.,通过数据发现和稀疏优化学习偏微分方程,Proc。R.Soc.A,数学。物理。工程科学。,473、2197,第20160446条pp.(2017)·Zbl 1404.35397号
[73] 沈,H。;乔治·D。;韦尔塔,E。;Zhao,Z.,使用深度学习和递归去噪自动编码器去噪引力波(2017),预印本
[74] 舒,C.W。;Osher,S.,《本质上非振荡激波捕获方案的有效实现》,J.Compute。物理。,77, 439-471 (1988) ·Zbl 0653.65072号
[75] A.V.Sinitskiy。;Pande,V.S.,深度神经网络计算大量有机分子的电子密度和能量的速度快于密度泛函理论(DFT)(2018),预印本
[76] 西里尼亚诺,J。;Spiliopoulos,K.,DGM:解偏微分方程的深度学习算法,J.Compute。物理。,375, 1339-1364 (2018) ·Zbl 1416.65394号
[77] 北斯利瓦斯塔瓦。;辛顿,G。;Krizhevsky,A。;Sutskever,I。;Salakhutdinov,R.,《辍学:防止神经网络过度拟合的简单方法》,J.Mach。学习。1929-1958年第15号决议(2014年)·Zbl 1318.68153号
[78] Stickel,J.J.,通过正则化方法进行数据平滑和数值微分,计算。化学。工程师,34,4,467-475(2010)
[79] 施蒂尼斯,P。;哈格,T。;塔塔科夫斯基,A.M。;Yeung,E.,《生成性对抗网络中内插和外推的强制约束》,J.Compute。物理。,397,第108844条pp.(2019)·兹比尔1453.68159
[80] Tikhomirov,V.,《关于将多个变量的连续函数表示为一个变量和加法的连续函数的叠加》,(A.N.Kolmogorov(1991)选集,Springer),383-387
[81] 特拉斯克,N。;帕特尔·R·G。;格罗斯,B.J。;Atzberger,P.J.,《GMLS-Nets:从非结构化数据学习的框架》(2019年),预印本
[82] 瓦伦丁,J。;Keskin,C。;Pidlypenskyi,P。;Makadia,A。;苏德,A。;Bouaziz,S.,Tensorflow图形(2019),可在以下网址获取:
[83] van Sloun,R.J。;科恩,R。;Eldar,Y.C.,《超声成像深度学习》(IEEE学报(2019年))
[84] 冯·F,Z.,Beugungstheorie des Schneidenverfahrens und seiner verbesserten Form,der Phasenkontrastmethode,Physica,1,7-12,689-704(1934)·Zbl 0009.28101号
[85] Weisstein,E.W.,Zernike多项式(2002)
[86] Wyant,J.C。;Creath,K.,光学计量学的基本波前像差理论,应用光学和光学工程,11,第2部分,28-39(1992)
[87] 谢浩。;Li,D.,使用MQ-RBF和高阶时间近似求解Burgers方程的无网格方法,应用数学建模,37,22,9215-9222(2013)·Zbl 1427.65195号
[88] Xu,K。;Darve,E.,微分方程反问题的神经网络方法(2019),预印本
[89] Zamudio-Fernandez,J。;奥肯,A。;Villaescusa-Navarro,F。;Bilaloglu,S。;Cengiz,A.D。;He,S。;利瓦瑟,L.P。;Ho,S.,HIGAN:宇宙中性氢与生成性对抗网络(2019),预印本
[90] 张,X。;Wang,Y。;张伟。;孙,Y。;He,S。;Contardo,G。;Villaescusa-Navarro,F。;Ho,S.,《从暗物质到具有卷积网络的星系》(2019),预印本
[91] 祖帕奇,A。;科斯·B。;Miklavcic,D.,基于电穿孔的医疗干预的治疗规划:电化学疗法、基因电转移和不可逆电穿孔,《医学与生物物理》,57,17,5425(2012)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。