邹宗仁;徐汇孟;Psaros，Apostolos F。;乔治·卡尼亚达基斯（George E.Karniadakis）。 NeuralUQ：神经微分方程和算子中不确定性量化的综合库。 （英语） 兹伯利07805456 SIAM版本。 第1期第66页，第161-190页（2024年）. 摘要：由于在不同领域（如计算机视觉和自然语言处理）快速部署深层神经网络，以及在风险敏感应用中需要可靠的工具，机器学习中的不确定性量化（UQ）目前正吸引越来越多的研究兴趣。最近，还开发了各种机器学习模型来解决科学计算领域的问题，并将其应用于计算科学与工程（CSE）。物理信息神经网络和深度算子网络分别是求解偏微分方程（PDE）和学习算子映射的两种模型。在这方面，专门为科学机器学习（SciML）模型定制的UQ方法的综合研究已在[A.F.Psaros公司等，《计算杂志》。物理学。477，文章ID 111902，83 p.（2023；Zbl 07652802号)]. 然而，尽管这些方法具有理论价值，但它们的实现并不简单，尤其是在大规模CSE应用中，这阻碍了它们在研究和工业环境中的广泛应用。在本文中，我们提出了一个开源Python库(https://github.com/Crunch-UQ4MI网站)，术语为NeuralUQ公司并附带一个教育教程，以方便和结构化的方式为SciML使用UQ方法。该库设计用于教育和研究目的，支持多种现代UQ方法和SciML模型。它基于简洁的工作流程，方便用户灵活使用和轻松扩展。我们首先介绍NeuralUQ教程，然后在四个不同的示例中演示其适用性和效率，包括动力系统和高维参数和时间相关PDE。 引用于1文件 MSC公司： 65-04 与数值分析有关的问题的软件、源代码等 65升99 常微分方程的数值方法 65M99型 偏微分方程、初值和含时初边值问题的数值方法 65纳米99 偏微分方程边值问题的数值方法 2017年10月68日 人工神经网络与深度学习 关键词：不确定性量化;科学机器学习;PIN码;DeepONet（深度网络）;深度学习;Python库 引文：Zbl 07652802号 软件：乐团-SINDy;NeuroDiff等式;DiffEqFlux流量;深XDE;PyDEns公司;TensorFlow公司;GPy火炬;SciANN公司;SimNet公司;tfp.mcmc公司;火炬差异;NeuralUQ公司;DeepONet（深度网络）;爱德华;亚当 PDF格式BibTeX公司 XML格式引用 \textit{Z.Zou}等人，SIAM Rev.66，No.1，161--190（2024；Zbl 07805456） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi，A.Agarwal，P.Barham等人，《TensorFlow:异构系统上的大规模机器学习》，2015年，https://www.tensorflow.org/。 [2] M.Abdar、F.Pourpanah、S.Hussain等人，《深度学习中不确定性量化的回顾：技术、应用和挑战》，https://arxiv.org/abs/2011.06225，2021年。 [3] C.Andrieu和J.Thoms，自适应MCMC教程，Stat.Comput。，18（2008），第343-373页。 [4] H.Babaee、C.Bastidas、M.DeFilippo、C.Chryssostomidis和G.Karniadakis，《马萨诸塞州和科德角湾海面温度的多元性框架和不确定性量化》，地球空间科学。，第7条（2020年），第2019EA000954条。 [5] N.Benes、A.Kasman和K.Young，《关于KdV（2）孤子的分解》，《非线性科学杂志》。，16（2006），第179-200页·Zbl 1106.35075号 [6] M.Betancourt，《哈密尔顿蒙特卡罗概念导论》，预印本，https://arxiv.org/abs/1701.02434, 2017. [7] C.Blundell、J.Cornebise、K.Kavukcuoglu和D.Wierstra，神经网络中的权重不确定性，机器学习国际会议，PMLR，2015年，第1613-1622页。 [8] S.L.Brunton、J.L.Proctor和J.N.Kutz，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，113（2016），第3932-3937页·Zbl 1355.94013号 [9] S.Cai、Z.Mao、Z.Wang、M.Yin和G.E.Karniadakis，《流体力学的物理信息神经网络：综述》，《机械学报》。罪。，37（2021），第1727-1738页。 [10] S.Cai、Z.Wang、F.Fuest、Y.J.Jeon、C.Gray和G.E.Karniadakis，《浓缩咖啡杯上的流动：通过物理信息神经网络从断层背景纹影法推断三维速度和压力场》，J.Fluid Mech。，915（2021），第A102条·Zbl 1461.76417号 [11] G.C.Calafiore、C.Novara和C.Possieri，《意大利疫情蔓延的时变SIRD模型》，年。《版本控制》，50（2020），第361-372页。 [12] F.Chen、D.Sondak、P.Protopapas、M.Mattheakis、S.Liu、D.Agarwal和M.Di Giovanni，《NeuroDiffEq：用神经网络求解微分方程的Python包》，J.开源软件。，第5条（2020年），第1931条。 [13] R.T.Chen、Y.Rubanova、J.Bettencourt和D.K.Duvenaud，《神经常微分方程》，摘自《神经信息处理系统进展》2018年第31期，第6571-6583页。 [14] Y.-C.Chen、P.-E.Lu、C.-S.Chang和T.-H.Liu，带有无法检测到的感染者的新型冠状病毒时间依赖性SIR模型，IEEE Trans。网络科学。《工程》，第7期（2020年），第3279-3294页。 [15] Y.Chung、I.Char、H.Guo、J.Schneider和W.Neiswanger，《不确定性工具箱：评估、可视化和改进不确定性量化的开源库》，https://arxiv.org/abs/2109.10254，2021年。 [16] S.Cuomo、V.S.Di Cola、F.Giampaolo、G.Rozza、M.Raissi和F.Piccialli，《通过物理信息神经网络进行科学机器学习：我们在哪里，下一步是什么》，预印本，https://arxiv.org/abs/2201.05624, 2022. [17] J.Darbon、G.P.Langlois和T.Meng，通过神经网络架构克服某些Hamilton-Jacobi偏微分方程的维数灾难，Res.Math。科学。，7（2020年），第1-50页·Zbl 1445.35119号 [18] R.De Neufville、K.Hodota、J.Sussman和S.Scholtes，增加智能交通系统价值的实物期权，交通运输。Res.Rec.，2086（2008），第40-47页。 [19] J.V.Dillon，I.Langmore，D.Tran等人，TensorFlow分布，预印本，https://arxiv.org/abs/11711.10604, 2017. [20] E.Dong、H.Du和L.Gardner，实时跟踪COVID-（19）的交互式网络仪表板，《柳叶刀传染病》，20（2020），第533-534页。 [21] U.Fasel、J.N.Kutz、B.W.Brunton和S.L.Brunton，《集成-SINDy：低数据、高噪声极限下的稳健稀疏模型发现，以及主动学习和控制》，Proc。A、 第478（2022）条，第20210904条。 [22] Y.Gal和Z.Ghahramani，《作为贝叶斯近似的辍学：在深度学习中表示模型不确定性》，机器学习国际会议，PMLR，2016年，第1050-1059页。 [23] J.Gardner、G.Pless、K.Q.Weinberger、D.Bindel和A.G.Wilson，《GPyTorch:具有GPU加速的黑盒矩阵-矩阵高斯过程推理》，收录于《神经信息处理系统进展》2018年第31期，第7587-7597页。 [24] S.Goswami、M.Yin、Yu和G.E.Karniadakis，预测脆性材料裂纹路径的基于物理的变分深度网，预印本，https://arxiv.org/abs/1208.06905, 2021. [25] E.Haghiat和R.Juanes，《SciANN:使用人工神经网络进行科学计算和基于物理的深度学习的Keras/TensorFlow包装器》，《计算》。方法应用。机械。工程，373（2021），第113552条·Zbl 1506.65251号 [26] J.Han、A.Jentzen和W.E，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，115（2018），第8505-8510页·Zbl 1416.35137号 [27] O.Hennigh、S.Narasimhan、M.A.Nabian、A.Subramaniam、K.Tangsali、Z.Fang、M.Rietmann、W.Byeon和S.Choudhry，《NVIDIA SimNet:人工智能加速多物理模拟框架》，收录于国际计算科学会议，施普林格，2021年，第447-461页。 [28] M.D.Hoffman和A.Gelman，《非U形取样器：哈密顿蒙特卡罗自适应设置路径长度》，J.Mach。学习。Res.，15（2014），第1593-1623页·Zbl 1319.60150号 [29] G.Huang、Y.Li、G.Pleiss、Z.Liu、J.E.Hopcroft和K.Q.Weinberger，《快照合奏：训练1，免费获得M》，https://arxiv.org/abs/1704.00109, 2017. [30] G.E.Karniadakis、I.G.Kevrekidis、L.Lu、P.Perdikaris、S.Wang和L.Yang，《基于物理的机器学习》，《自然评论物理》。，3（2021年），第422-440页。 [31] K.Kashinath、M.Mustafa、A.Albert、J.Wu、C.Jiang、S.Esmaeilzadeh、K.Azizzadenesheli、R.Wang、A.Chattopadhyay、A.Singh等人，《基于物理的机器学习：天气和气候建模的案例研究》，Philos。事务处理。罗伊。Soc.A，379（2021），第20200093条。 [32] E.Kharazmi、M.Cai、X.Zheng、Z.Zhang、G.Lin和G.E.Karniadakis，使用物理信息神经网络的整数阶和分数阶流行病学模型的可识别性和可预测性，自然计算。科学。，1（2021年），第744-753页。 [33] D.P.Kingma和J.Ba，Adam：随机优化方法，预印本，https://arxiv.org/abs/1412.6980, 2014. [34] A.Koryagin、R.Khudorozkov和S.Tsimfer，《PyDEns：用神经网络求解微分方程的Python框架》，预印本，https://arxiv.org/abs/1909.11544, 2019. [35] V.Kuleshov、N.Fenner和S.Ermon，《使用校准回归进行深度学习的准确不确定性》，预印本，https://arxiv.org/abs/1807.00263, 2018. [36] B.Lakshminarayanan、A.Pritzel和C.Blundell，使用深度集成进行简单且可扩展的预测不确定性估计，《神经信息处理系统进展》，2017年，第6402-6413页。 [37] J.Lao，C.Suter，I.Langmore，C.Chimisov等人，tfp.mcmc:为现代硬件构建的现代马尔可夫链蒙特卡罗工具，https://arxiv.org/abs/2002.01184，2020年。 [38] D.Levi、L.Gispan、N.Giladi和E.Fetaya，评估和校准回归任务中的不确定性预测，预印本，https://arxiv.org/abs/1905.11659, 2019. [39] G.Lin、C.Moya和Z.Zhang，用于解决噪声参数PDE的加速副本交换随机梯度Langevin扩散增强Bayesian DeepONet，预印本，https://arxiv.org/abs/2111.02484, 2021. [40] L.Lu、P.Jin、G.Pang、Z.Zhang和G.E.Karniadakis，基于算子的普遍逼近定理，通过DeepONet学习非线性算子，Nature Mach。智力。，3（2021），第218-229页。 [41] L.Lu，X.Meng，S.Cai，Z.Mao，S.Goswami，Z.Zhang，and G.E.Karniadakis，基于Fair数据的两个神经算子（带实际扩展）的全面公平比较，预印本，https://arxiv.org/abs/2111.05512, 2021. [42] L.Lu，X.Meng，Z.Mao，和G.E.Karniadakis，DeepXDE:求解微分方程的深度学习库，SIAM Rev.，63（2021），第208-228页，https://doi.org/10.1137/19M1274067。 ·兹比尔1459.65002 [43] K.O.Lye、S.Mishra和D.Ray，《计算流体动力学中的深度学习观察》，J.Compute。物理。，第410条（2020年），第109339条·Zbl 1436.76051号 [44] X.Meng、H.Babaee和G.E.Karniadakis，《多精度贝叶斯神经网络：算法和应用》，J.Compute。物理。，438（2021），第110361条·Zbl 07505956号 [45] X.Meng和G.E.Karniadakis，《从多保真数据中学习的复合神经网络：函数逼近和PDE逆问题的应用》，J.Compute。物理。，401（2020），第109020条·Zbl 1454.76006号 [46] X.Meng、L.Yang、Z.Mao、J.del Aígula Ferrandis和G.E.Karniadakis，《从数据和物理中学习函数的先验和后验》，J.Compute。物理。，第457（2022）条，第111073条·Zbl 1515.62046号 [47] R.M.Neal，MCMC使用哈密顿动力学，摘自《马尔可夫链蒙特卡罗手册》，CRC出版社，佛罗里达州博卡拉顿，2011年，第113-162页·Zbl 1229.65018号 [48] E.Pickering、G.E.Karniadakis和T.P.Sapsis，通过神经操作员的主动学习发现和预测极端事件，预印本，https://arxiv.org/abs/2204.02488, 2022. [49] E.Pickering和T.P.Sapsis，量化不确定性质量的结构和分布度量：评估高斯过程、深层神经网络和回归、预印本、，https://arxiv.org/abs/2203.04515, 2022. [50] A.F.Psaros、X.Meng、Z.Zou、L.Guo和G.E.Karniadakis，《科学机器学习中的不确定性量化：方法、度量和比较》，J.Compute。物理。，第477（2023）条，第111902条·兹伯利07652802 [51] T.Qin、Z.Chen、J.D.Jakeman和D.Xiu，参数化方程的深度学习及其在不确定性量化中的应用，国际。J.不确定性。数量。，11 (2021). ·Zbl 1498.68283号 [52] C.Rackauckas、M.Innes、Y.Ma、J.Bettencourt、L.White和V.Dixit、DiffEqFlux.jl:神经微分方程的Julia库，预印本，https://arxiv.org/abs/1902.02376, 2019. [53] C.Rackauckas、Y.Ma、J.Martensen、C.Warner、K.Zubov、R.Supekar、D.Skinner、A.Ramadhan和A.Edelman，科学机器学习的通用微分方程，预印本，https://arxiv.org/abs/2001.04385，2020年。 [54] R.Rahaman和A.H.Thiery，不确定性量化和深度集成，Adv.Neural Inform。过程。系统。，34（2021），第20063-20075页。 [55] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·Zbl 1415.68175号 [56] M.Raissi、A.Yazdani和G.E.Karniadakis，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，367（2020），第1026-1030页·兹比尔1478.76057 [57] C.Rao、H.Sun和Y.Liu，《无标记数据的计算弹性动力学物理信息深度学习》，预印本，https://arxiv.org/abs/2006.08472，2020年。 [58] L.Richard de Neufville、S.Scholtes和T.Wang，电子表格实物期权：停车库案例，J.基础设施系统。，12（2006年），第107-111页。 [59] H.Ritter、A.Botev和D.Barber，《神经网络的可扩展拉普拉斯近似法》，第六届学习表征国际会议，ICLR 2018-会议跟踪记录，2018年。 [60] G.O.Roberts和J.S.Rosenthal，Langevin扩散离散近似的最佳缩放，J.R.Stat.Soc.Ser。B统计方法。，60（1998年），第255-268页·Zbl 0913.60060号 [61] D.Sen和D.Sen，使用修改的SIRD模型分析冠状病毒数据，Indust。工程化学。决议，60（2021），第4251-4260页。 [62] L.Sun、H.Gao、S.Pan和J.-X.Wang，基于物理约束的无模拟数据的深度学习的流体流动替代建模，计算。方法应用。机械。工程，361（2020），第112732条·Zbl 1442.76096号 [63] L.Tierney和J.B.Kadane，后力矩和边缘密度的精确近似，J.Amer。Stat.Assoc.，81（1986），第82-86页·Zbl 0587.62067号 [64] R.Tipiredid、P.Stinis和A.M.Tartakovsky，《不确定性量化的时间依赖随机基适应》，预印本，https://arxiv.org/abs/2103.03316, 2021. [65] D.Tran、A.Kucukelbir、A.B.Dieng、M.Rudolph、D.Liang和D.M.Blei，Edward:概率建模、推理和批评、预印本、，https://arxiv.org/abs/1610.09787, 2016. [66] N.Trask、A.Huang和X.Hu，《在科学机器学习中实施精确物理：图形上的数据驱动外部演算》，J.Compute。物理。，第456（2022）条，第110969条·Zbl 07518096号 [67] R.K.Tripathy和I.Bilionis，《深度UQ：学习深度神经网络替代模型以进行高维不确定性量化》，J.Compute。物理。，375（2018），第565-588页·兹伯利1419.68084 [68] X.Wan和G.E.Karniadakis，任意概率测度的多元广义多项式混沌，SIAM J.Sci。计算。，28（2006），第901-928页，https://doi.org/10.1137/050627630。 ·Zbl 1128.65009号 [69] S.Wang、H.Wang和P.Perdikaris，《利用物理学知识的DeepONets学习参数偏微分方程的解算符》，《科学进展》，第7期（2021年），第eabi8605条。 [70] S.Wang、H.Wang和P.Perdikaris，《深度运营商网络的改进架构和训练算法》，J.Sci。计算。，92（2022），第35条·Zbl 07550028号 [71] M.Welling和Y.W.Teh，通过随机梯度Langevin动力学进行贝叶斯学习，载于《第28届国际机器学习大会论文集》（ICML-11），2011年，第681-688页。 [72] J.Willard、X.Jia、S.Xu、M.Steinbach和V.Kumar，将科学知识与机器学习相结合用于工程和环境系统，ACM Comput。调查。，第55条（2022年），第66条。 [73] A.G.Wilson，贝叶斯深度学习案例，https://arxiv.org/abs/2001.10995，2020年。 [74] T.Xifara、C.Sherlock、S.Livingstone、S.Byrne和M.Girolma，《朗之万扩散和都市调整朗之万算法》，统计。普罗巴伯。莱特。，91（2014），第14-19页·Zbl 1298.60081号 [75] K.Xu和E.Darve，ADCME：使用深度神经网络学习空间变化的物理场，预印本，https://arxiv.org/abs/2011.11955，2020年。 [76] L.Yang、X.Meng和G.E.Karniadakis，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络，J.Compute。物理。，第425（2021）条，第109913条·Zbl 07508507号 [77] L.Yang、D.Zhang和G.E.Karniadakis，《随机微分方程的物理信息生成对抗网络》，SIAM J.Sci。计算。，42（2020年），第A292-A317页，https://doi.org/10.1137/18M1225409。 ·Zbl 1440.60065号 [78] Y.Yang、M.Aziz Bhouri和P.Perdikaris，不确定性下鲁棒系统辨识的贝叶斯微分规划，Proc。A、 476（2020），第20200290条·Zbl 1472.68166号 [79] Y.Yang、G.Kissas和P.Perdikaris，使用随机先验对深度算子网络的可扩展不确定性量化，预印本，https://arxiv.org/abs/2203.03048, 2022. [80] Y.Yang和P.Perdikaris，物理信息神经网络中的对抗不确定性量化，J.Compute。物理。，394（2019），第136-152页·Zbl 1452.68171号 [81] J.Yao、W.Pan、S.Ghosh和F.Doshi-Velez，贝叶斯神经网络推断的不确定性量化质量，预印本，https://arxiv.org/abs/1906.09686, 2019. [82] E.Zelikman、C.Healy、S.Zhou和A.Avati，《原油：经验校准回归不确定性分布》，https://arxiv.org/abs/2005.12496，2020年。 [83] D.Zhang、L.Lu、L.Guo和G.E.Karniadakis，量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性，J.Compute。物理。，397（2019），第108850条·Zbl 1454.65008号 [84] Y.Zhu、N.Zabaras、P.-S.Koutsourlakis和P.Perdikaris，无标记数据的高维代理建模和不确定性量化的物理约束深度学习，J.Comput。物理。，394（2019），第56-81页·Zbl 1452.68172号 [85] Z.Zou和G.E.Karniadakis，L-HYDRA：多头部物理信息神经网络，预印本，https://arxiv.org/abs/2301.02152，2023年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。