徐凯来;亲爱的，埃里克 稀疏观测数据驱动逆建模的物理约束学习。 （英语） Zbl 07517712号 J.计算。物理学。 453，文章ID 110938，24 p.（2022）. 摘要：深度神经网络（DNN）可以模拟物理量之间的非线性关系。这些DNN嵌入由偏微分方程（PDE）描述的物理系统中，并通过最小化损失函数进行训练，该损失函数用于测量某些选定规范中的预测和观测之间的差异。当只有稀疏观测可用时，该损失函数通常将PDE约束作为惩罚项。结果，PDE仅被该解近似地满足。然而，惩罚项通常会减缓僵硬问题优化器的收敛速度。我们提出了一种新的方法，在满足PDE约束的同时训练嵌入式DNN。我们开发了一种算法，能够在反向模式自动微分中区分显式和隐式数值解算器。我们的方法允许在统一的框架中计算DNN和PDE解的梯度。我们证明，与惩罚方法相比，我们的方法在相对刚性的问题中具有更快的收敛性和更好的稳定性。我们的方法可以解决并加速一系列数据驱动的逆向建模，其中物理约束由PDE描述，需要精确满足。 引用于7文件 MSC公司： 65新元 偏微分方程边值问题的数值方法 4.9亿 最优控制中的数值方法 65年xx月 数值算法的计算机方面 关键词：机器学习;深度神经网络;反问题;数值偏微分方程 软件：PLCP公司;希尔伯特类库;SyFi系统;FEniCS公司;广场广场;ImageNet公司;TensorFlow公司;差异Sharp;AMGCL公司;PyTorch公司;AlexNet公司 PDF格式BibTeX公司 XML格式引用 \textit｛K.Xu｝和\textit｛E.Darve｝，J.Comput。物理。453，文章ID 110938，24 p.（2022；Zbl 07517712） 全文： 内政部 arXiv公司 参考文献： [1] Isakov，Victor，偏微分方程反问题，第127卷（2006），Springer·Zbl 1092.35001号 [2] Jean Virieux；阿米尔·阿斯纳沙里；罗曼·布罗西耶；Métiver，卢多维奇；亚历山德拉·里博代蒂；周伟，《全波形反演简介》（《勘探地球物理百科全书》（2017），勘探地球物理学家学会），第R1-1页 [3] 米歇尔·格里迪亚克（Michel Grédiac）；Hild，François，《固体力学中的全场测量和识别》（2012），John Wiley&Sons·Zbl 1255.74003号 [4] 瓦尔坎，阿克塞利克；乔治·比罗斯（George Biros）；奥马尔·加塔斯；朱迪斯·希尔；戴维·凯斯（David Keyes）；van Bloemen Waanders，Bart，PDE约束优化的并行算法，（科学计算的并行处理（2006），SIAM），291-322 [5] Daniel Z.Huang。；徐凯来；查贝尔·法哈特；Darve，Eric，使用深度神经网络从间接观测中学习本构关系（2019年）·Zbl 1437.65192号 [6] 亚历山大·塔塔科夫斯基（Alexandre M.Tartakovsky）。；卡洛斯·奥尔蒂斯·马拉罗（Carlos Ortiz Marrero）；巴黎佩迪卡里斯；塔塔科夫斯基（Guzel D.Tartakovsky）。；Barajas Solano，David，利用物理信息深度神经网络学习参数和本构关系（2018），arXiv预印本 [7] 孟旭辉；Karniadakis，George Em，《从多保真数据中学习的复合神经网络：函数逼近和PDE逆问题的应用》（2019），arXiv预印本·Zbl 1454.76006号 [8] Justin Romberg，离散化线性逆问题（2012年5月），（OpenStax CNX） [9] 弗拉基米尔·格雷奇卡。；乔治·A·麦克麦肯（George A.McMechan）。；Volovodenko，Vitaly A.，用切比雪夫多项式展开法求解一维反问题，地球物理学，61,61758-1768（1996） [10] 朱凌晨；刘恩涛；McClellan，James H.，基于在线正交字典学习的Sparse-promoting全波形反演，地球物理学，82，2，R87-R107（2017） [11] 福梅尔，谢尔盖；刘，杨，塞斯莱变换和塞斯莱框架，地球物理，75，3（2010），V25-V38 [12] 吴越；王慧；张彪彪；Du，K-L.，《使用径向基函数网络进行函数逼近和分类》，Int.Sch。Res.Not.，不适用。，2012 (2012) ·Zbl 1264.68137号 [13] 卡洛斯·巴伦西亚；袁明，随机噪声线性反问题的径向基函数正则化，J.Multivar。分析。，116, 92-108 (2013) ·Zbl 1277.62118号 [14] Plessix，R-E.，《利用地球物理应用计算泛函梯度的伴随状态方法综述》，Geophys。《国际期刊》，167，2495-503（2006） [15] Bradley，Andrew M.，PDE约束优化和伴随方法（2010） [16] 梁成玉；钱建良，利用初至波进行三维透射旅行时层析成像的伴随状态方法，Commun。数学。科学。，4, 1, 249-266 (2006) ·Zbl 1096.65062号 [17] Allaire，Grégoire，数值代码中灵敏度分析、不确定性量化和优化的伴随方法综述（2015） [18] Thomas Lauß；斯特凡·奥伯佩尔斯泰纳（Stefan Oberpeilsteiner）；沃尔夫冈·施泰纳；Nachbagauer，Karin，多体系统动力学参数识别的离散伴随方法，多体体系。动态。，42, 4, 397-410 (2018) ·Zbl 1425.70013号 [19] Thomas，James William，《数值偏微分方程：有限差分方法》，第22卷（2013），Springer Science&Business Media [20] Noye，John，《偏微分方程的有限差分技术》（North-Holland Mathematics Studies，第83卷（1984），Elsevier），95-354·Zbl 0535.65064号 [21] 托马斯·J·R·休斯。；约翰·科特雷尔（John A.Cottrell）。；Bazilevs，Yuri，等几何分析：CAD，有限元，NURBS，精确几何和网格细化，Comput。方法应用。机械。工程，194，39-41，4135-4195（2005）·Zbl 1151.74419号 [22] Auricchio，F。；贝劳Da Veiga，L。；休斯·T·J·R。；Reali，A。；Sangalli，G.，等几何配置方法，数学。模型方法应用。科学。，20, 11, 2075-2107 (2010) ·Zbl 1226.65091号 [23] 范·列文，特里斯坦；Herrmann，Felix J.，反问题中PDE约束优化的惩罚方法，逆问题。，第32、1条，第015007页（2015年）·Zbl 1410.49029号 [24] 罗兰·赫尔佐格（Roland Herzog）；Kunisch，Karl，PDE约束优化算法，GAMM-Mitt。，3316313-176（2010年）·Zbl 1207.49034号 [25] 亚当·帕斯克（Adam Paszke）；格罗斯，萨姆；索米斯·钦塔拉；格雷戈里·查南（Gregory Chanan）；爱德华·杨；扎卡里·德维托；林泽明；阿尔班·德斯梅森；卢卡·安提卡；Adam Lerer，《PyTorch中的自动区分》（2017） [26] 马丁·阿巴迪；Paul Barham；陈建民；陈志峰；安迪·戴维斯；杰弗里·迪恩；马蒂厄·德文；桑杰·盖马瓦特；杰弗里·欧文；Michael Isard，Tensorflow:大规模机器学习系统，（第12届USENIX操作系统设计与实现研讨会（OSDI 16）（2016）），265-283 [27] 马丁·阿巴迪；阿加瓦尔，阿什什；Paul Barham；尤金·布雷夫多；陈志峰；雪铁龙，克雷格；Greg S.Corrado。；安迪·戴维斯；杰弗里·迪恩；Devin，Matthieu，Tensorflow:异构分布式系统上的大规模机器学习（2016），arXiv预印本 [28] 范梅里恩博尔，巴特；奥利维尔·布鲁勒；阿尔诺·贝杰隆；Lamblin，Pascal，《ML中的自动分化：我们在哪里，我们应该去哪里》（神经信息处理系统进展（2018）），8757-8767 [29] Bradley M.贝尔。；Burke，James V.，隐函数和最优值的算法微分，（自动微分的进展（2008），Springer），67-77·兹比尔1152.65434 [30] 马齐亚·莱斯；巴黎佩迪卡里斯；George E.Karniadakis，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [31] 马齐亚·莱斯；王志成；Michael S.Triantafylou。；George Em，Karniadakis，《涡激振动的深度学习》，J.流体力学。，861, 119-137 (2019) ·Zbl 1415.76177号 [32] 杨、刘；张冬坤；Karniadakis，George Em，《随机微分方程的物理信息生成对抗网络》（2018），arXiv预印本·Zbl 1440.60065号 [33] 罗尔夫·罗斯（Roth，Rolf）；Ulbrich，Stefan，非定常湍流优化的离散伴随方法，Flow Turbul。库布斯特。，90, 4, 763-783 (2013) [34] 泰龙·里斯；Dollar，H.Sue；Wathen，Andrew J.，PDE约束优化的最优解算器，SIAM J.Sci。计算。，32, 1, 271-298 (2010) ·Zbl 1208.49035号 [35] Simon W.Funke。；Farrell，Patrick E.，自动化PDE约束优化框架（2013），arXiv预印本 [36] Galántai，Aurel，《牛顿方法理论》，J.Compute。申请。数学。，124, 1-2, 25-44 (2000) ·兹比尔0965.65080 [37] Baydin，Atilim Gunes；巴拉克·A·皮尔默特。；阿列克谢·安德烈耶维奇（Alexey Andreyevich Radul）；Jeffrey Mark Siskind，《机器学习中的自动差异化：一项调查》，J.Mach。学习。决议，18，153（2018）·Zbl 06982909号 [38] 马克·戈肯巴赫（Mark S.Gockenbach）。；丹尼尔·雷诺兹（Daniel R.Reynolds）。；沈鹏；Symes，William W.，《伴随状态方法的高效自动实现》，ACM Trans。数学。软质。，28, 1, 22-44 (2002) ·Zbl 1070.65560号 [39] 安托万·麦克纳马拉；阿德里安·特雷伊勒（Adrien Treuille）；佐兰·波波维奇；Stam，Jos，使用伴随方法的流体控制，ACM Trans。图表。，23, 3, 449-456 (2004) [40] 帕克拉万，萨米拉；Pouria A.Mistani。；阿拉贡·卡沃（Aragon-Calvo）、米盖尔·安吉尔（Miguel Angel）；Frederic Gibou，《使用物理感知神经网络解决反码问题》（2020年），arXiv预印本 [41] Jens Berg；Nyström，Kaj，pde的神经网络增广逆问题（2017），arXiv预印本·Zbl 1451.68239号 [42] Logg，Anders；肯特·安德雷·马尔达尔；Wells，Garth，《用有限元方法自动求解微分方程：FEniCS图书》，第84卷（2012），Springer Science&Business Media·Zbl 1247.65105号 [43] 帕特里克·法雷尔（Patrick E.Farrell）。；David A.Ham。；Simon W.Funke。；Rognes，Marie E.，高级瞬态有限元程序伴随的自动推导，SIAM J.Sci。计算。，35、4、C369-C393（2013）·Zbl 1362.65103号 [44] 尼科洛·达尔·桑托；西蒙·德帕里斯；Pegolotti，Luca，通过约化基和神经网络对参数化pde进行数据驱动近似，J.Compute。物理。，416，第109550条pp.（2020）·Zbl 1437.65224号 [45] 阿文德·莫汉（Arvind T.Mohan）。；尼古拉斯·吕贝尔斯；丹尼尔·利维斯库；Chertkov，Michael，在三维湍流的神经网络粗粒化中嵌入硬物理约束（2020），arXiv预印本 [46] David G.Luenberger。；叶银玉，《线性与非线性规划》，第2卷（1984），施普林格出版社·Zbl 1319.90001号 [47] 安德烈亚斯·格雷万克；Walther，Andrea，《评估衍生品：算法区分的原理和技术》，第105卷（2008年），暹罗·Zbl 1159.65026号 [48] Charles C.Margossian，《自动差异化及其有效实施综述》，（威利跨学科评论：数据挖掘和知识发现（2018）），e1305 [49] 皮埃尔·阿布林；加布里埃尔·佩雷；Moreau，Thomas，定义为最小值的函数的自动微分超效率（2020），arXiv预印本 [50] 内文娜·雅科夫切维奇·斯托；斯拉普尼查尔，伊凡；Barlow，Jesse，箭头矩阵的精确特征值分解，对角线矩阵的一级修改和应用，（特征值问题精确解国际研讨会X（2014））·Zbl 1302.65087号 [51] Joseph-Frédéric Bonnans；吉恩·查尔斯·吉尔伯特（Jean Charles Gilbert）；克劳德·勒马雷查尔（Claude Lemaréchal）；Sagastizábal，Claudia A.，《数值优化：理论和实践方面》（2006），Springer Science&Business Media·Zbl 1108.65060号 [52] 陈云梅；Rokhlin，Vladimir，关于一维亥姆霍兹方程的逆散射问题，逆问题。，8, 3, 365 (1992) ·Zbl 0760.34017号 [53] 鲍刚；李培军，固定频率下亥姆霍兹方程的介质逆散射，逆问题。，21, 5, 1621 (2005) ·Zbl 1086.35120号 [54] 塔迪，M。；Nandakumaran，A.K。；Sritharan，S.S.，亥姆霍兹方程的反问题，逆问题。科学。工程，19，6，839-854（2011）·兹比尔1269.65118 [55] 卡多克，B.D。；Evans，K.E.，动脉假体中的负泊松比和应变相关机械性能，生物材料，16，14，1109-1115（1995） [56] 李浩；徐，郑；加文·泰勒；克里斯托夫·施图德（Christoph Studer）；Tom Goldstein，《可视化神经网络的损失前景》，（神经信息处理系统进展（2018）），6389-6399 [57] 伊恩·古德费罗（Ian J.Goodfellow）。；葡萄酒、Oriol；Saxe，Andrew M.，《定性描述神经网络优化问题》（2014），arXiv预印本 [58] Alex Krizhevsky；伊利亚·萨茨克弗；Hinton，Geoffrey E.，深度卷积神经网络的图像网络分类，（神经信息处理系统进展（2012）），1097-1105 [59] Yann LeCun；莱昂·博图；约书亚·本吉奥；Patrick Haffner，梯度学习应用于文档识别，Proc。IEEE，86，11，2278-2324（1998） [60] 何开明；张向玉；任少清；孙健，图像识别的深度残差学习，（IEEE计算机视觉与模式识别会议论文集（2016）），770-778 [61] Kleinstreuer，Cl，《两相流：理论与应用》（2017），劳特利奇出版社 [62] 哈佛布鲁克斯，皇家；Corey，Arthur T.，《影响流体流动的多孔介质特性》，J.Irrig。排水管。第92、2、61-90分册（1966年） [63] Lomeland，Frode；Ebeltoft，Einar；Thomas，Wibeke Hammervold，《一种新的通用相对渗透率相关性》（核心分析师协会国际研讨会，加拿大多伦多，第112卷（2005）） [64] 李东卓；徐凯来；杰里·哈里斯。；Darve，Eric，智能自动微分地下水流问题的时间推移全波形反演（2019），arXiv预印本 [65] Demidov，Denis，Amgcl：高效、灵活和可扩展的代数多重网格实现，Lobachevskii J.Math。，40, 5, 535-546 (2019) ·Zbl 1452.65426号 [66] 胡晓哲；刘伟；秦、关；徐金超；张振松，数值油藏模拟器快速辅助子空间预处理的开发，（SPE油藏表征与模拟会议与展览（2011），石油工程师学会） [67] 徐凯来；Darve，Eric，基于物理的反问题机器学习·Zbl 1506.65017号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。