沙姆苏尔哈克·巴西尔；伊南克州塞诺卡克 物理和等式约束人工神经网络：应用于具有多保真度数据融合的正问题和反问题。 （英语） Zbl 07536791号 J.计算。物理学。 463，文章ID 111301，18 p.（2022）. 摘要：基于物理信息的神经网络（PINNs）被提出用于学习偏微分方程（PDE）的解。在PINN中，感兴趣PDE的残差形式及其边界条件被集中到一个复合目标函数中作为软惩罚。在此，我们表明，当应用于不同类型的偏微分方程时，这种特定的目标函数公式化方法是PINN方法严重局限性的根源。为了解决这些局限性，我们提出了一个基于约束优化问题公式的通用框架，在该框架中，我们使用增广拉格朗日方法（ALM）用PDE的边界条件和任何可用的高保真数据来约束PDE的解。我们的方法擅长于多保真度数据融合的正问题和逆问题。通过将我们的物理和等式约束深度学习框架应用于涉及多维偏微分方程的几个正问题和逆问题，我们证明了该框架的有效性和通用性。与最先进的基于物理信息的神经网络相比，我们的框架在精确度方面实现了数量级的改进。 引用于6文件 MSC公司： 68次发射 人工智能 90立方厘米 数学编程 92Cxx码 生理、细胞和医学主题 关键词：约束优化；增广拉格朗日方法；剩余神经网络；偏微分方程；正问题和反问题；多保真度学习 软件：亚当；AlexNet公司；PyTorch公司；ImageNet公司；TensorFlow公司；DGM公司；阿达德尔塔；L-BFGS公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Basir}和\textit{I.Senocak}，J.Compute。物理学。463，文章ID 111301，18 p.（2022；Zbl 07536791） 全文： 内政部 arXiv公司 参考文献： [1] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，NIPS，251097-1105（2012） [2] He，K。；张，X。；Ren，S。；Sun，J.，图像识别的深度剩余学习，（IEEE计算机视觉和模式识别会议论文集（2016）），770-778 [3] 辛顿，G。；邓，L。；Yu，D。；Dahl，G.E。；穆罕默德，A.-r。；北卡罗来纳州贾特利。；高级，A。；Vanhoucke，V。；Nguyen，P。；Sainath，T.N。；Kingsbury，B.，《语音识别中声学建模的深度神经网络：四个研究小组的共同观点》，IEEE信号处理。Mag.，29，82-97（2012） [4] Sutskever，I。；葡萄酒，O。；Le，Q.V.，《神经网络的序列到序列学习》（2014），CoRR [5] 巴达瑙，D。；Cho，K。；Bengio，Y.，《通过联合学习对齐和翻译实现神经机器翻译》（第三届学习表征国际会议，第三届国际学习表征会议，ICLR 2015（2015）） [6] J·韦斯顿。；肖普拉，S。；Adams，K.，#TagSpace:来自hashtags的语义嵌入，（2014年自然语言处理经验方法会议论文集（EMNLP）（2014），计算语言学协会：计算语言学协会，卡塔尔多哈），1822-1827 [7] Schmidhuber，J.，《神经网络中的深度学习：概述》，神经网络。，61, 85-117 (2015) [8] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络。，2, 359-366 (1989) ·Zbl 1383.92015年 [9] 莱什诺，M。；Lin，V.Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6, 861-867 (1993) [10] Grohs，P。；Hornung，F。；詹岑，A。；Von Wurstemberger，P.，《人工神经网络在Black-Scholes偏微分方程数值逼近中克服维数灾难的证明》（2018），arXiv预印本 [11] Darbon，J。；Langlois，G.P。；Meng，T.，通过神经网络结构克服某些Hamilton-Jacobi偏微分方程的维数灾难，Res.Math。科学。，7 (2020) ·Zbl 1445.35119号 [12] 伯纳，J。；Grohs，P。；Jentzen，A.，《泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难》，SIAM J.Math。数据科学。，2, 631-657 (2020) ·Zbl 1480.60191号 [13] Dissanayake，M.W.M.G。；Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法工程，10195-201（1994）·Zbl 0802.65102号 [14] 范·米利根，B.P。；Tribaldos，V。；Jiménez，J.A.，神经网络微分方程和等离子体平衡求解器，物理学。修订稿。，75, 3594-3597 (1995) [15] 蒙特罗拉，C。；Saloma，C.，用无监督神经网络求解非线性薛定谔方程，Opt。快递，972-84（2001） [16] Parisi，D。；Mariani，M.C。；Laborde，M.，用无监督神经网络求解微分方程，化学。工程流程。，42, 715-721 (2003) [17] Hayati，M。；Karami，B.，解偏微分方程的前馈神经网络，J.Appl。科学。，72812-2817（2007年） [18] 拉加里斯，I.E。；利卡斯，A。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998) [19] M.阿巴迪。；巴勒姆，P。；陈，J。；陈，Z。；A.戴维斯。；迪安·J。；德文，M。；Ghemawat，S。；欧文，G。；Isard，M。；库德勒，M。；Levenberg，J。；蒙加，R。；摩尔，S。；D.G.穆雷。；斯坦纳，B。；塔克，P。；瓦苏德万，V。；监狱长，P。；维克，M。；Yu，Y。；Zheng，X.，TensorFlow:大型机器学习系统，（《第十二届USENIX操作系统设计与实现会议论文集》，第十二届操作系统设计和实现会议论文，OSDI’16（2016），USENIX-协会：USENIX-Association USA），265-283 [20] Paszke，A。；毛重，S。；马萨，F。；Lerer，A。；布拉德伯里，J。；Chanan，G。；基林，T。；林，Z。；Gimelshein，N。；安提瓜，L。；Desmaison，A。；Kopf，A。；杨，E。；德维托，Z。；Raison，M。；特贾尼，A。；Chilamkurthy，S。；斯坦纳，B。；方，L。；Bai，J。；Chintala，S.，《PyTorch:一个命令式、高性能的深度学习库》，（神经信息处理系统进展，第32卷（2019年）），8024-8035 [21] E、 W。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1-12（2018）·Zbl 1392.35306号 [22] Han，J。；詹岑，A。；E、 W.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，1158505-8510（2018）·Zbl 1416.35137号 [23] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·兹比尔1416.65394 [24] Zhu，Y。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S。；Perdikaris，P.，无标记数据的高维代理建模和不确定性量化的物理约束深度学习，J.Comput。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [25] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [26] Raissi，M.，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。决议，19932-955（2018）·Zbl 1439.68021号 [27] 莱斯，M。；王，Z。；Triantafylou，M.S。；Karniadakis，G.E.，《涡激振动的深度学习》，《流体力学杂志》。，861, 119-137 (2019) ·Zbl 1415.76177号 [28] 基萨斯，G。；杨，Y。；Hwuang，E。；Witschey，W.R。；Detre，J.A。；Perdikaris，P.，《心血管血流建模中的机器学习：使用物理信息神经网络从无创4D流MRI数据预测动脉血压》，计算机。方法应用。机械。工程，358，第112623条pp.（2020）·Zbl 1441.76149号 [29] 亚兹达尼，A。；卢，L。；莱斯，M。；Karniadakis，G.E.，系统生物学为推断参数和隐藏动力学的深度学习提供了信息，PLoS Compute。生物学，16，文章e1007575 pp.（2020） [30] de Silva，B.M。；卡拉汉，J。；Jonker，J。；戈贝尔，N。；Klemisch，J。；麦克唐纳。；希克斯，N。；库茨，J.N。；Brunton，S.L。；Aravkin，A.Y.，《利用飞行测试数据检测传感器故障的基于物理的机器学习》（2020年），arXiv预印本 [31] 刘，Y。；库茨，J.N。；Brunton，S.L.，多尺度微分方程时间步进器的分层深度学习（2020），arXiv预印本 [32] X孟。；Karniadakis，G.E.，《从多保真数据中学习的复合神经网络：应用于函数逼近和逆偏微分方程问题》，J.Compute。物理。，401，第109020条pp.（2020）·Zbl 1454.76006号 [33] 拉马巴蒂兰，A.A。；Ramachandran，P.，SPINN:PDE的稀疏、基于物理和部分可解释的神经网络，J.Compute。物理。，445，第110600条pp.（2021）·Zbl 07515856号 [34] 范德米尔，R。；Oosterlee，C.W。；Borovykh，A.，用神经网络求解偏微分方程的最优加权损失函数（2020），CoRR·Zbl 1518.65143号 [35] 麦克伦尼，L。；Braga Neto，U.，使用软注意力机制的自适应物理知情神经网络（2020），arXiv预印本 [36] 王，S。；Teng，Y。；Perdikaris，P.，《理解和缓解物理信息神经网络中的梯度流病理学》，SIAM J.Sci。计算。，43，A3055-A3081（2021）·Zbl 1530.68232号 [37] Brunton，S.L。；Noack，B.R。；Koumoutsakos，P.，《流体力学的机器学习》，年。Rev.流体机械。，52, 477-508 (2020) ·Zbl 1439.76138号 [38] Karniadakis，G.E。；Kevrekidis，I.G。；卢，L。；佩迪卡里斯，P。；王，S。；Yang，L.，《基于物理的机器学习》，《国家物理评论》。，3, 422-440 (2021) [39] Zeiler，M.D.，Adadelta:一种自适应学习率方法（2012），arXiv预印本 [40] Powell，M.J.，最小化问题中非线性约束的一种方法，（Fletcher，R.，最优化；数学及其应用研究所研讨会。最优化；数学及应用研究所会议，英国基尔大学，1968（1969），学术出版社：伦敦学术出版社，纽约）， 283-298 ·Zbl 0194.47701号 [41] Hestenes，M.R.，乘数和梯度法，J.Optim。理论应用。，4, 303-320 (1969) ·Zbl 0174.20705号 [42] Bierlaire，M.，《优化：原理和算法》（2015），EPFL出版社，CRC出版社：EPFL出版，CRC出版，洛桑，博卡拉顿·Zbl 1337.90062号 [43] Martins，J.R。；Ning，A.，《工程设计优化》（2021），剑桥大学出版社 [44] 博伊德，S。；北卡罗来纳州帕里赫。；Chu，E.，《通过乘数交替方向方法进行分布式优化和统计学习》（2011年），现出版公司。 [45] Bertsekas，D.P.，乘数法：调查，Automatica，12133-145（1976）·Zbl 0321.49027号 [46] Nocedal，J。；Wright，S.，《数值优化》（2006），Springer Science&Business Media·Zbl 1104.65059号 [47] Dener，A。；米勒，文学硕士。；丘吉尔，R.M。；Munson，T。；Chang，C.-S.，使用随机增广拉格朗日方法在物理约束下训练神经网络（2020），arXiv预印本 [48] 卢，L。；佩斯托里，R。；姚，W。；王，Z。；Verdugo，F。；Johnson，S.G.，逆向设计硬约束的物理信息神经网络，SIAM J.Sci。计算。，43，B1105-B1132（2021）·Zbl 1478.35242号 [49] He，K。；张，X。；Ren，S。；Sun，J.，深度剩余网络中的身份映射，（欧洲计算机视觉会议（2016），施普林格），630-645 [50] Weinan，E.，《通过动态系统进行机器学习的建议》，Commun。数学。统计，5，1-11（2017）·兹比尔1380.37154 [51] 格洛洛特，X。；Bengio，Y.，《理解深度前馈神经网络训练的困难》（Teh，Y.W。；Titterington，M.，《第十三届国际人工智能与统计会议论文集》。《第十三届国际人工智能与统计会议记录》，《机器学习研究记录》，PMLR，第9卷（2010年），249-256 [52] 李，J.-H。；胡晓云。；曾世华。；Lu，J.-G。；霍国平。；Han，B。；彭瑞华，基于电场亥姆霍兹方程的环形源瞬变电磁法三维正演，中国。地球物理学杂志。，56, 4256-4267 (2013) [53] Greengard，L。；Huang，J。；Rokhlin，V。；Wandzura，S.，在低频下加速亥姆霍兹方程的快速多极方法，IEEE计算。科学。工程师，5，32-38（1998） [54] Plessix，R.-E.，三维地震成像问题的亥姆霍兹迭代求解器，地球物理学，72，SM185-SM194（2007） [55] 贝利斯，A。；戈尔茨坦，C.I。；Turkel，E.，《水下声学中波传播问题的亥姆霍兹方程数值解》，计算。数学。申请。，11, 655-665 (1985) ·Zbl 0596.76092号 [56] Nocedal，J.，用有限存储更新拟Newton矩阵，数学。计算。，35, 773-782 (1980) ·Zbl 0464.65037号 [57] 贾瓦迪，A.A。；Al-Najjar，M.M。；Evans，B.，非饱和土壤的流动和污染物传输模型，（非饱和土壤理论和数值力学（2007），Springer），135-141 [58] 安，N。；Hemmati，S。；Cui，Y.，由于土壤-大气相互作用，路堤中土壤体积含水量和温度变化的数值分析，计算。岩土工程。，83, 40-51 (2017) [59] 加迪，V。；辛格，S。；Singhariya，M。；加格，A。；Sreedeep，S。；Ravi，K.，《模拟土壤-水相互作用：冠层和根系参数对土壤吸力和绿色基础设施稳定性的影响》，《工程计算》。(2018) [60] Hayashi，M。；Rosenberry，D.O.，《地下水交换对地表水水文和生态的影响》，《地下水》，40，309-316（2002） [61] Hillel，D.，《环境土壤物理：基础、应用和环境考虑》（1998），爱思唯尔出版社 [62] Van Genuchten，M.T.，预测非饱和土壤导水率的封闭式方程，土壤科学。《美国社会杂志》，44，892-898（1980） [63] 贝克·J·V。；布莱克威尔，B。；Clair，C.R.S.，《逆热传导：不良问题》（1985），詹姆斯·贝克·Zbl 0633.73120号 [64] 尊敬的Y。；Wei，T.，《热传导反问题的基本求解方法》，《工程分析》。已绑定。元素。，28, 489-495 (2004) ·邮编1073.80002 [65] Shen，S.-Y.，逆热传导问题的数值研究，计算。数学。申请。，38173-188（1999年）·Zbl 0951.65090号 [66] Wang，J。；Zabaras，N.，《逆向热传导问题的贝叶斯推理方法》，《国际热质传递杂志》。，47, 3927-3941 (2004) ·1070.80002赞比亚比索 [67] 斯旺森，K.R。；桥梁，C。；J.穆雷。；Alvord，E.C.，《虚拟和真实脑肿瘤：使用数学模型量化胶质瘤生长和侵袭》，J.Neurol。科学。，216，1-10（2003） [68] Giese，A。；比克维格，R。；Berens，M。；Westphal，M.，《迁移成本：恶性胶质瘤的侵袭及其治疗意义》，J.Clin。Oncol.公司。，21, 1624-1636 (2003) [69] Jaroudi，R.，《脑肿瘤生长的逆向数学模型》，第1787卷（2018），林雪平大学电子出版社 [70] 贾巴迪，S。；Mandonnet，E。；Duffau，H。；卡佩尔，L。；斯旺森，K.R。；佩列格里尼·伊斯萨克，M。；吉列文，R。；Benali，H.，利用扩散张量成像模拟低级别胶质瘤的各向异性生长，Magn。Reson公司。医学，54，616-624（2005） [71] 画家，K。；Hillen，T.，《胶质瘤生长的数学模型：使用扩散张量成像（dti）数据预测癌症侵袭的各向异性路径》，J.Theor。生物学，323，25-39（2013）·Zbl 1314.92083号 [72] 欧祖鲁，E.，关于反应扩散问题的数值方法的注释，以模拟肿瘤生长动力学的密度，计算。数学。申请。，69, 1504-1517 (2015) ·Zbl 1443.92103号 [73] Rockne，R。；艾尔沃德，E。；Rockhill，J。；Swanson，K.，《脑肿瘤对放射治疗反应的数学模型》，J.Math。《生物学》，58561-578（2009）·Zbl 1311.92108号 [74] Larsson，J.，《求解Fisher方程以捕捉低度胶质瘤患者的肿瘤行为》（2019年），查默斯理工大学：查默斯科技大学，瑞典哥德堡，硕士论文 [75] 金玛，D.P。；Ba，J.，Adam：一种随机优化方法，（Bengio，Y.；LeCun，Y.，《第三届学习表征国际会议论文集》（2015）） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。