朱敏;张汉迪;焦安然;乔治·埃姆·卡尼亚达基斯;鲁，鲁 通过物理或稀疏观测信息对深层神经算子进行可靠推断。 （英语） Zbl 07692973号 计算。方法应用。机械。工程师。 412，文章ID 116064，36 p.（2023）。 深度神经算子可以通过深度神经网络学习无穷维函数空间之间的非线性映射。作为用于实时预测的偏微分方程（PDE）的有希望的替代解算器，深度神经算子（如深度算子网络（DeepONet））在科学和工程中提供了一种新的模拟范式。通常，纯数据驱动的神经算子和深度学习模型仅限于插值场景，其中，新预测利用训练集支持范围内的输入。然而，在实际应用的推理阶段，输入可能不在支持范围内，即需要外推，这可能会导致较大的错误和深度学习模型不可避免的失败。在这里，我们解决了深度神经操作符外推的挑战。首先，我们通过量化外推复杂性，通过两个函数空间之间的2-Wasserstein距离，系统地研究了DeepONet的外推行为，并针对模型容量提出了一种新的外推偏方差权衡策略。随后，我们开发了一个完整的工作流程，包括外推确定，并提出了五种可靠的学习方法，通过需要额外信息（系统的控制PDE或稀疏的新观测值）来确保外推下的安全预测。提出的方法要么基于预训练DeepONet的微调，要么基于多义性学习。我们证明了所提出的框架对各种参数PDE的有效性。我们的系统比较为根据可用信息、所需精度和所需推理速度选择合适的外推方法提供了实用指南。 引用于三文件 MSC公司： 68倍 计算机科学 92至XX 生物学和其他自然科学 关键词：神经运算符;外推复杂性;微调;多元性学习;分布外推断 软件：UQDeepONet（UQDeep网络）;NeuralUQ公司;DeepONet（深度网络）;GELUs公司;深XDE;MIONet公司;ElemStatLearn（电子状态学习） PDF格式BibTeX公司 XML格式引用 \textit{M.Zhu}等人，计算。方法应用。机械。工程412，文章ID 116064，36 p.（2023；Zbl 07692973） 全文： 内政部 arXiv公司 参考文献： [1] 库尔特·霍尼克；斯汀科姆，麦克斯韦；White，Halbert，多层前馈网络是通用逼近器，神经网络。，2, 5, 359-366 (1989) ·Zbl 1383.92015年 [2] 内森·贝克；亚历山大，弗兰克；蒂莫，布雷默；亚利桑那州哈格伯格；凯夫雷基迪斯（Kevrekidis）、亚尼斯（Yannis）；哈比卜·纳吉；帕拉沙尔，马尼什；阿巴尼·帕特拉；詹姆斯·塞提安（James Sethian）；Wild，Stefan，《科学机器学习基本研究需求研讨会报告：人工智能的核心技术》，技术报告（2019年），USDOE科学办公室（SC），华盛顿特区（美国） [3] 乔治·埃姆（George Em），卡尼亚达基斯（Karniadakis）；Ioannis G.Kevrekidis。；鲁，鲁；巴黎佩迪卡里斯；王思凡；Yang，Liu，Physics-informated machine learning，国家物理评论。，3, 6, 422-440 (2021) [4] 马齐亚·莱斯；巴黎佩迪卡里斯；Karniadakis，George Em，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019), https://www.sciencedirect.com/science/article/pii/S0021999118307125 ·Zbl 1415.68175号 [5] 鲁，鲁；孟旭辉；毛志平；Karniadakis，George Em，DeepXDE:解微分方程的深度学习库，SIAM Rev.，63，1，208-228（2021）·Zbl 1459.65002号 [6] 吴晨曦；朱敏；谭庆阳；雅杜·卡塔；Lu，Lu，《物理信息神经网络非自适应和基于残差的自适应采样的综合研究》（2022），arXiv预印本arXiv:2207.10289·Zbl 07644158号 [7] 陈天平；Chen，Hong，具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用，IEEE Trans。神经网络。，6, 4, 911-917 (1995) [8] 鲁，鲁；金、彭湛；庞国飞；Handy Zang；George Karniadakis，《基于算子的普遍逼近定理通过DeepONet学习非线性算子》，Nat.Mach。智力。，3, 218-229 (2021) [9] 邓，北川；Shin，Yeonjong；鲁，鲁；张忠强；Karniadakis，George Em，平流扩散方程学习算子的DeepONets近似率，神经网络。，153411-426（2022） [10] Lin，Chensen；李震；鲁，鲁；蔡盛泽；马丁·马克西（Martin Maxey）；Karniadakis，George Em，预测多尺度气泡增长动力学的操作员学习，J.Chem。物理。，154，10，第104118条pp.（2021） [11] Lin，Chensen；马丁·马克西（Martin Maxey）；李震；乔治·埃姆（George Em），卡尼亚达基斯（Karniadakis），用于推断气泡动力学的无缝多尺度操作员神经网络，流体力学杂志。，929，A18（2021）·Zbl 1495.76119号 [12] 索姆达塔·戈斯瓦米；尹明朗；于越；Karniadakis，George Em，预测准脆性材料裂纹路径的基于物理的变分DeepONet，计算。方法应用。机械。工程，391，第114587条pp.（2022），https://www.sciencedirect.com/science/article/pii/S004578252200010X ·Zbl 1507.74383号 [13] Di Leoni，P.Clark；鲁，鲁；查尔斯·梅内沃（Charles Meneveau）；乔治·卡尼亚达基斯（George Karniadakis）；Zaki，Tamer A.，《高速边界层线性不稳定波的Deeponet预测》（2021），arXiv预印本arXiv:2105.08697·Zbl 07640550号 [14] 朱利安·奥索里奥（Julian D.Osorio）。；王志成；乔治·卡尼亚达基斯（George Karniadakis）；蔡盛泽；Chryssostomidis，Chrys；马扬克·潘瓦尔；Rob Hovsapian，使用基于深度运营商网络架构的数据驱动机器学习方法预测瞬态运行下的太阳能热系统性能，Energy Convers。管理。，252 (2021), https://www.osi.gov/biblio/1839596 [15] 蔡盛泽；王志成；鲁，鲁；Tamer A.Zaki。；Karniadakis，George Em，DeepM&Mnet:通过神经网络基于算子近似推断电转换多物理场，J.Comput。物理。，436，第110296条pp.（2021）·兹伯利07513856 [16] 毛志平；鲁，鲁；奥拉夫·马尔森；Tamer A.Zaki。；Karniadakis，George Em，《高超音速的DeepM&Mnet：使用操作员的神经网络近似预测正常冲击后的耦合流动和有限速率化学》，J.Compute。物理。，447，第110698条pp.（2021），https://www.sciencedirect.com/science/article/pii/S0021999121005933 ·Zbl 07516442号 [17] 尹明朗；张恩瑞；于越；George Em，Karniadakis，《将有限元与深层神经算子相结合，用于力学问题的快速多尺度建模》，计算。方法应用。机械。工程，第115027条pp.（2022）·Zbl 1507.74523号 [18] 金、彭湛；孟帅；Lu，Lu，MIONet：通过张量积学习多输入运算符（2022），arXiv预印本arXiv:2202.06137·Zbl 07617460号 [19] 鲁，鲁；孟旭辉；蔡盛泽；毛志平；索姆达塔·戈斯瓦米；张忠强；Karniadakis，George Em，基于fair数据的两个神经运算符（带实际扩展）的全面而公平的比较，计算。方法应用。机械。工程，393，第114778条pp.（2022）·Zbl 1507.65050号 [20] 王思凡；王汉文；Perdikaris，Paris，学习参数偏微分方程的解算符，与物理学相关的DeepONets，Sci。高级，7，40，eabi8605（2021） [21] Lu Lu，Raphaöl Pestourie，Steven G Johnson，Giuseppe Romano，高效学习偏微分方程的多保真深度神经算子及其在纳米级热传输快速逆设计中的应用，2022，arXiv预印本。 [22] 阿曼达·A·霍华德。；毛罗·佩雷戈（Mauro Perego）；乔治·卡尼亚达基斯（George E.Karniadakis）。；Stinis，Panos，多保真深度运营商网络（2022），arXiv预打印arXiv:2204.09157 [23] De，Subhayan；马利克·哈萨纳利（Malik Hassanaly）；马修·雷诺兹（Matthew Reynolds）；莱恩·金（Ryan N.King）。；Doostan，Alireza，使用DeepONets对不确定和部分未知系统进行双精度建模（2022），arXiv预印本arXiv:2204.00997·兹比尔1521.74407 [24] 刘立国；Cai，Wei，振荡函数空间中非线性算子的多尺度DeepONet，用于构建地震波响应（2021），arXiv预印本arXiv:22111.04860 [25] 林光；莫亚，克里斯蒂安；张泽成，用于求解含噪参数偏微分方程的加速副本交换随机梯度朗之万扩散增强贝叶斯DeepONet（2021），arXiv预印本arXiv:2111.02484·Zbl 07625386号 [26] Psaros，阿波斯托洛斯F。；孟旭辉；邹宗仁；郭玲；George Em Karniadakis，《科学机器学习中的不确定性量化：方法、度量和比较》（2022年），arXiv预印本arXiv:2201.07766·Zbl 07652802号 [27] 杨一波；乔治·基萨斯（Georgios Kissas）；Perdikaris，Paris，《使用随机先验值对深度运营商网络进行可扩展不确定性量化》，ArXiv E-Prints（2022），ArXiv:2203.03048·Zbl 1507.68280号 [28] 莫亚，克里斯蒂安；张世奇；岳、孟；Lin，Guang，DeepONet-Grid-UQ：预测电网故障后轨迹的可靠深度操作员框架（2022年），arXiv预印本arXiv:2202.07176 [29] Barnard，E。；Wessels，L.F.A.，神经网络分类器中的外推和内插，IEEE控制系统。Mag.，12，5，50-53（1992） [30] 徐克鲁；张墨芝；李静玲；杜，西蒙S。；Kawarabayashi，Ken-ichi；Jegelka，Stefanie，《神经网络如何外推：从前馈到图形神经网络》（2020），arXiv预印本arXiv:2009.11848 [31] 乔治·基萨斯（Georgios Kissas）；雅各布·塞德曼；列奥纳多·费雷拉（Leonardo Ferreira），吉约托（Guilhoto）；维克多·M·普雷西亚多（Victor M.Preciado）。；乔治·帕帕斯（George J.Pappas）。；Perdikaris，Paris，《联合注意力学习操作员》（2022年），arXiv预印本arXiv:2201.01032 [32] 刘新阳；孙浩；朱敏；鲁，鲁；王建勋，利用多分辨率PDE结构预留深度学习预测参数时空动力学（2022），arXiv预印本arXiv:2205.03990 [33] 马克·肯尼迪（Marc C.Kennedy）。；安东尼·奥哈根（Anthony O’Hagan），《当快速近似可用时预测复杂计算机代码的输出》，《生物统计学》，87，1，1-13（2000）·兹比尔0974.62024 [34] 安德拉斯·索贝斯；亚历山大·弗雷斯特（Alexander Forrester）；Keane，Andy，《通过代孕建模进行工程设计：实用指南》（2008），John Wiley&Sons [35] 孟旭辉；Karniadakis，George Em，从高保真度数据中学习的复合神经网络：在函数逼近和PDE逆问题中的应用，J.Comput。物理。，401，第109020条pp.（2020）·Zbl 1454.76006号 [36] 鲁，鲁；道，明；普尼特·库马尔；拉马默蒂（Ramamurty，Upadrasta）；乔治·埃姆（George Em），卡尼亚达基斯（Karniadakis）；Suresh，Subra，通过仪器压痕深度学习提取材料的机械性能，Proc。国家。阿卡德。科学。，117, 13, 7052-7062 (2020) [37] 鲁，鲁；道，明；苏雷什，苏布拉；George Karniadakis，《估算材料机械性能的机器学习技术》（2022），谷歌专利，美国专利申请。17/620,219 [38] 潘，Sinno Jialin；杨强，迁移学习调查，IEEE Trans。知识。数据工程，22，10，1345-1359（2009） [39] 庄福珍；齐志远；段可玉；Xi、Dongbo；朱永春；朱恒书；熊、惠；何青，迁移学习综合调查，Proc。IEEE，109，1，43-76（2020） [40] 邓一祥；鲁，鲁；劳拉·阿蓬特；Angeliki M.Angelidi。；维拉·诺瓦克；乔治·埃姆（George Em），卡尼亚达基斯（Karniadakis）；Mantzoros，Christos S.，深度转移学习和数据增强改善2型糖尿病患者的血糖水平预测，NPJ数字医学，4，1，1-13（2021） [41] 卢，江；龚平华；叶洁平；张长水，从极少数样本中学习：一项调查（2020），arXiv预印本arXiv:2009.025653 [42] 王亚青；姚全明；Kwok，James T。；Ni，Lionel M.，从几个例子中总结：关于少快照学习的调查，ACM Compute。调查。，53, 3, 1-34 (2020) [43] 索姆达塔·戈斯瓦米；Katiana Kontolati；迈克尔·希尔兹（Michael D.Shields）。；Karniadakis，George Em，在DeepONet条件移位下偏微分方程的深度转移学习（2022），arXiv预印本arXiv:2204.09810·兹伯利07660362 [44] 李宗毅；科瓦奇奇，尼古拉；阿齐扎德涅谢利（Azizzadenesheli），卡姆亚尔（Kamyar）；刘，布里吉德；考希克·巴塔查里亚；安德鲁·斯图亚特（Andrew Stuart）；Anandkumar，Anima，参数偏微分方程的Fourier神经算子（2020），arXiv预印本arXiv:2010.08895 [45] 李宗毅；科瓦奇奇，尼古拉；阿齐扎德涅谢利（Azizzadenesheli），卡姆亚尔（Kamyar）；刘，布里吉德；考希克·巴塔查里亚；安德鲁·斯图亚特（Andrew Stuart）；Anandkumar，Anima，《神经算子：偏微分方程的图形核网络》（2020），arXiv预印本arXiv:2003.03485 [46] 你，怀谦；于越；玛尔塔·德埃利亚；高，田；Silling，Stewart，非局部核网络（NKN）：一种稳定且与分辨率无关的深度神经网络（2022），arXiv预印本arXiv:2201.02217·Zbl 07592139号 [47] 纳撒尼尔·查斯克；拉维·帕特尔（Ravi G.Patel）。；格罗斯（Ben J.Gross）。；Atzberger，Paul J.，《GMLS-Nets:从非结构化数据学习的框架》（2019），arXiv预印本arXiv:1909.05371 [48] 拉维·帕特尔（Ravi G.Patel）。；Nathaniel A.Trask。；伍德，米切尔A。；Cyr，Eric C.，提取数据驱动连续体模型的物理信息操作员回归框架，计算。方法应用。机械。工程，373，第113500条pp.（2021）·Zbl 1506.62383号 [49] Gelbrich，Matthias，关于欧几里德空间和希尔伯特空间上测度之间L2 Wasserstein度量的公式，数学。纳克里斯。，147, 1, 185-203 (1990) ·Zbl 0711.60003号 [50] 阿米亚·贾格塔普（Ameya D.Jagtap）。；川口，Kenji；Em Karniadakis，George，深度和物理信息神经网络斜率恢复的局部自适应激活函数，Proc。R.Soc.伦敦。序列号。数学。物理。工程科学。，4762239，第20200334条，第（2020）页·Zbl 1472.68175号 [51] 阿米亚·贾格塔普（Ameya D.Jagtap）。；Shin，Yeonjong；川口健二；Karniadakis，George Em，Deep kronecker神经网络：具有自适应激活函数的神经网络的一般框架，神经计算，468165-180（2022） [52] 斯图亚特·杰曼；伊利·比恩斯托克（Elie Bienenstock）；Doursat，René，神经网络与偏差/方差困境，神经计算。，4, 1, 1-58 (1992) [53] 特雷弗·哈斯蒂；Robert Tibshirani；Jerome H.Friedman。；Jerome H.Friedman，《统计学习的要素：数据挖掘、推断和预测》（2009），Springer出版社·Zbl 1273.62005年 [54] 米哈伊尔·贝尔金；徐，Daniel；马思源；Mandal，Soumik，《协调现代机器学习实践和经典偏差-方差权衡》，Proc。国家。阿卡德。科学。，116, 32, 15849-15854 (2019) ·Zbl 1433.68325号 [55] 纳基兰，普雷图姆；卡普伦，Gal；亚米尼省班萨尔；杨，特里斯坦；波阿斯·巴拉克；伊利亚·萨茨克弗（Ilya Sutskever），《深度双重下降：更大的模型和更多数据带来的伤害》（Deep double descent:Where bigger models and more data hat，J.Stat.Mech）。理论实验，2021，12，第124003条pp.（2021）·Zbl 07451713号 [56] 维诺德·奈尔（Vinod Nair）、杰弗里·欣顿（Geoffrey E.Hinton），《校正线性单位改进受限的波尔兹曼机器》（Rectified linear units improved restricted Boltzmann machines），载于：ICML，2010年。 [57] 斯特凡·埃尔夫温；Uchibe，Eiji；Doya，Kenji，强化学习中神经网络函数逼近的Sigmoid加权线性单位，神经网络。，107, 3-11 (2018) [58] Dan Hendrycks；Gimpel，Kevin，高斯误差线性单位（GeLUs）（2016），arXiv预印arXiv:1606.08415 [59] 洪庆国；谭庆阳；乔纳森·西格尔（Jonathan W.Siegel）。；徐金超，关于神经网络光谱偏差的激活函数依赖性（2022），arXiv预印本arXiv:2208.04924 [60] 金、彭湛；鲁，鲁；唐一发；Karniadakis，George Em，根据数据分布和神经网络平滑度量化深度学习中的泛化误差，神经网络。，13085-99（2020）·Zbl 1475.68315号 [61] 伊恩·古德费罗（Ian J.Goodfellow）。；米尔扎、迈赫迪；肖达；亚伦·库维尔（Aaron Courville）；Yoshua Bengio，《梯度神经网络中灾难性遗忘的实证研究》（2013），arXiv预印本arXiv:1312.6211 [62] 詹姆斯·柯克帕特里克（James Kirkpatrick）；帕斯卡努（Razvan Pascanu）；Neil Rabinowitz；Joel Veness；纪尧姆·德斯贾丁斯；安德烈·鲁苏（Andrei A.Rusu）。；米兰，基兰；John Quan；蒂亚戈·拉马略；Grabska-Barwinska，Agnieszka，克服神经网络中的灾难性遗忘，Proc。国家。阿卡德。科学。，114, 13, 3521-3526 (2017) ·Zbl 1404.92015年 [63] 王思凡；王汉文；Perdikaris，Paris，《利用物理学知识的DeepONets学习参数偏微分方程的解算子》，科学出版社。高级，7，40，eabi8605（2021），arXiv：https://www.science.org/doi/pdf/10.1126/sciadv.abi8605 [64] Samuel Lanthaler；悉达多·米什拉；George E.Karniadakis，《DeepONets的错误估计：无限维的深度学习框架》，Trans。数学。申请，6，1，tnac001（2022）·Zbl 07525076号 [65] 蒂姆·德莱克（Tim De Ryck）；Mishra，Siddhartha，物理信息（和）算子学习近似误差的一般界限（2022），arXiv预印本arXiv:2205.11393·Zbl 1502.65170号 [66] 科瓦奇奇，尼古拉；Samuel Lanthaler；Mishra，Siddhartha，《关于傅里叶神经算子的普遍逼近和误差界》，J.Mach。学习。决议，22（2021），Art-No·Zbl 07626805号 [67] 卡洛·马卡蒂；Schwab，Christoph，椭圆偏微分方程深算子网络的指数收敛性（2021），arXiv预印本arXiv:2112.08125·Zbl 1519.65057号 [68] 卢卡斯·埃尔曼；克里斯托夫·施瓦布；Zech，Jakob，Neural和gpc算子代理：构建和表达速率边界（2022），arXiv预印本arXiv:2207.04950 [69] 克里斯托夫·施瓦布；Stein，Andreas，通过近端神经网络求解变分不等式的深解算子，研究数学。科学，9，3，1-35（2022）·兹伯利07546269 [70] Maarten V.de Hoop。；科瓦奇奇（Nikola B.Kovachki）。；尼尔森（Nicholas H.Nelsen）。；Stuart，Andrew M.，从噪声数据学习线性算子的收敛速度（2021），arXiv预印本arXiv:2108.12515 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。