张冬坤;鲁，鲁;郭玲;乔治·埃姆·卡尼亚达基斯 量化基于物理的神经网络中的总不确定性，用于解决正向和反向随机问题。 （英语） Zbl 1454.65008号 J.计算。物理学。 397，文章ID 108850，第19页（2019）. 概要：基于物理的神经网络（PINN）最近已成为一种数值求解偏微分方程（PDE）的替代方法，无需构建复杂的网格，而是使用简单的实现。特别是，除了用于解决方案的深度神经网络（DNN）外，还考虑了一个辅助DNN，它表示PDE的残差。然后将残差与解决方案的给定数据中的失配结合起来，以制定损失函数。该框架是有效的，但由于数据中固有的随机性或DNN架构的近似限制，该框架缺乏解决方案的不确定性量化。这里，我们提出了一种新的方法，目的是为DNN赋予两种不确定性来源的不确定性量化，即参数不确定性和近似不确定性当微分方程中的参数表示为随机过程时，我们首先考虑参数不确定性。多个DNN旨在学习任意多项式混沌（aPC）通过使用稀疏传感器的随机数据扩展其解决方案。然后，我们可以使用经过训练的DNN从新的传感器测量值中非常有效地进行预测。此外，我们还雇佣辍学量化DNN在近似模态函数时的不确定性。然后我们设计一个主动学习基于丢失不确定性的策略，在域中放置新传感器，以改进DNN的预测。对正问题和反问题进行了几次数值试验，以证明PINN与不确定性量化相结合的有效性。这种NN-aPC新的物理信息深度学习范式具有不确定性量化，可以很容易地应用于多维的其他类型的随机PDE。 引用于93文件 MSC公司： 65立方米 随机微分和积分方程的数值解 35兰特 偏微分方程的逆问题 35K57型 反应扩散方程 60华氏35 随机方程的计算方法（随机分析方面） 68T07型 人工神经网络与深度学习 关键词：基于物理的神经网络;不确定性量化;随机微分方程;任意多项式混沌;辍学 软件：亚当;SegNet公司;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{D.Zhang}等人，J.Compute。物理学。397，文章ID 108850，19 p.（2019；Zbl 1454.65008） 全文： 内政部 arXiv公司 参考文献： [1] 风扇，X。；刘，Y。；陶，J。；Weng，Y.，基于偏最小二乘回归的先进多光谱传感器土壤盐分反演，遥感，7488-511（2015） [2] 波拉克，H.N。；赫特，S.J。；Johnson，J.R.，《地球内部的热流：全球数据集分析》，《地球物理学评论》。，31, 267-280 (1993) [3] Graepel，T.，《用高斯过程求解含噪线性算子方程：应用于常微分方程和偏微分方程》，（机器学习国际会议（2003）），234-241 [4] Särkkä，S.，高斯过程回归中的线性算子和随机偏微分方程，（人工神经网络国际会议（2011年），施普林格），151-158 [5] Bilinis，I.，偏微分方程的概率解算器（2016），预印本 [6] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40，A172-A198（2018）·Zbl 1386.65030号 [7] 庞，G。；Yang，L。；Karniadakis，G.E.，神经网络诱导高斯过程回归函数近似和PDE解（2018），预印本 [8] Yang，X.先生。；塔塔科夫斯基，G。；Tartakovsky，A.，《基于物理的克里金：数据模型收敛的基于物理的高斯过程回归方法》（2018），预印本 [9] 拉加里斯，I.E。；利卡斯，A.C。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998) [10] 拉加里斯，I.E。；利卡斯，A.C。；Papageorgiou，D.G.，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络。，11, 1041-1049 (2000) [11] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题（2017），预印本 [12] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理学为基础的深度学习》（第一部分）：非线性偏微分方程的数据驱动解（2017年），预印本 [13] Nabian，医学硕士。；Meidani，H.，高维随机偏微分方程的深度神经网络替代物（2018），预印本 [14] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·兹比尔1242.65142 [15] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 [16] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348, 683-693 (2017) ·Zbl 1380.68339号 [17] Rudy，S.H。；Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，偏微分方程的数据驱动发现，科学。高级，3，文章e1602614 pp.（2017） [18] 鲁迪，S。；Alla，A。；布伦顿，S.L。；Kutz，J.N.，参数偏微分方程的数据驱动识别（2018），预印本 [19] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理学为基础的深度学习》（第二部分）：非线性偏微分方程的数据驱动发现（2017年），预印本 [20] 莱斯，M。；Karniadakis，G.，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357, 125-141 (2018) ·兹比尔1381.68248 [21] 塔塔科夫斯基，A.M。；马里罗，哥伦比亚特区。；佩迪卡里斯，P。；塔塔科夫斯基，G.D。；巴拉哈斯·索拉诺（Barajas-Solano），D.，学习参数和与物理相关的深层神经网络的本构关系（2018年），预印本 [22] E、 W。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法（2017），预印本·Zbl 1382.65016号 [23] Raissi，M.，前向随机神经网络：高维偏微分方程的深度学习（2018），预印本 [24] 加尼姆，R。；Spanos，P.D.，随机有限元中的多项式混沌，J.Appl。机械。，57, 197-202 (1990) ·Zbl 0729.73290号 [25] 修，D。；Karniadakis，G.E.，随机微分方程的Wiener-Askey多项式混沌，SIAM J.Sci。计算。，24, 619-644 (2002) ·Zbl 1014.65004号 [26] 郑，M。；万，X。；Karniadakis，G.E.，带离散测度的自适应多元多项式混沌：算法及其在SPDE中的应用，应用。数字。数学。，90, 91-110 (2015) ·Zbl 1326.65140号 [27] 万，X。；Karniadakis，G.，任意概率测度的多元广义多项式混沌，SIAM J.Sci。计算。，28, 901-928 (2006) ·Zbl 1128.65009号 [28] Oladyshkin，S。；Nowak，W.，使用任意多项式混沌展开的数据驱动不确定性量化，Reliab。工程系统。安全。，106, 179-190 (2012) [29] Lei，H。；李，J。；高，P。；施蒂尼斯，P。；Baker，N.，《量化具有任意随机性的复杂系统中不确定性的数据驱动方法》（2018年），预印本 [30] Witteveen，J.A。；Bijl，H.，使用Gram-Schmidt多项式混沌建模任意不确定性，（第44届AIAA航空航天科学会议和展览（2006）），896 [31] 麦凯，D.J.，《反向传播网络的实用贝叶斯框架》，神经计算。，4, 448-472 (1992) [32] Neal，R.M.，《神经网络的贝叶斯学习》，《统计学讲义》，第118卷（1996），Springer·Zbl 0888.62021号 [33] M.I.乔丹。；加赫拉马尼，Z。；Jaakkola，T.S。；Saul，L.K.，图形模型的变分方法简介，（图形模型中的学习（1998），施普林格），105-161·Zbl 0910.68175号 [34] 佩斯利，J。；布莱，D。；Jordan，M.，《随机搜索的变异贝叶斯推断》（2012），预印本 [35] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2013），预印本 [36] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.，《随机变分推断》，J.马赫。学习。第14号决议，1303-1347（2013）·Zbl 1317.68163号 [37] Rezende，D.J。；穆罕默德，S。；Wierstra，D.，深度生成模型中的随机反向传播和近似推理（2014），预印本 [38] 提提亚斯，M。；Lázaro-Gredilla，M.，非共轭推理的双随机变分贝叶斯，（机器学习国际会议（2014）），1971-1979 [39] Madigan，D。；约克·J。；Allard，D.，离散数据的贝叶斯图形模型，《国际统计评论》，215-232（1995）·Zbl 0834.62003号 [40] 科勒，D。；弗里德曼，N。；巴赫，F.，《概率图形模型：原理与技术》（2009），麻省理工学院出版社·Zbl 1183.68483号 [41] 布伦德尔，C。；科内比斯，J。；Kavukcuoglu，K。；Wierstra，D.，神经网络中的重量不确定性（2015），预印本 [42] J.T.Springenberg，A.Klein，S.Falkner，F.Hutter，鲁棒贝叶斯神经网络的贝叶斯优化，载于：神经信息处理系统进展，第4134-4142页。；J.T.Springenberg，A.Klein，S.Falkner，F.Hutter，稳健贝叶斯神经网络的贝叶斯优化，《神经信息处理系统进展》，第4134-4142页。 [43] 苏，C。；Borsuk，M.E.，《通过马尔可夫覆盖重采样改进贝叶斯网络的MCMC结构》，J.Mach。学习。决议，17，1-20（2016）·Zbl 1367.68238号 [44] 对手，I。；Personnaz，L.，基于最小二乘估计的神经网络置信区间的构建，神经网络。，13, 463-484 (2000) [45] Gal，Y。；Ghahramani，Z.，《作为贝叶斯近似的辍学：表示深度学习中的模型不确定性》，（机器学习国际会议（2016）），1050-1059 [46] Gal，J.H.Yarin；Kendall，A.，混凝土辍学，（神经信息处理系统进展（2017）），3584-3593 [47] 李毅。；Gal，Y.，带字母偏差的贝叶斯神经网络中的辍学推理，（机器学习国际会议（2017）），2052-2061 [48] 辛顿，G.E。；北斯利瓦斯塔瓦。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.R.，《通过防止特征检测器的联合自适应改进神经网络》（2012年），预印本 [49] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过度拟合的简单方法》，J.Mach。学习。第15号决议，1929-1958（2014）·Zbl 1318.68153号 [50] Damianou，A。；Lawrence，N.，深度高斯过程，（人工智能与统计学（2013）），207-215 [51] Gal，Y。；Ghahramani，Z.，《辍学在递归神经网络中的理论应用》（神经信息处理系统进展（2016）），1019-1027 [52] 肯德尔，A。；Badrinarayan，V。；Cipolla，R.，Bayesian SegNet:用于场景理解的深度卷积编码器-解码器架构中的模型不确定性（2015），预印本 [53] 肯德尔，A。；Gal，Y.，我们在计算机视觉的贝叶斯深度学习中需要哪些不确定性？，（神经信息处理系统进展（2017）），5580-5590 [54] Angermueller，C。；Lee，H.J。；Reik，W。；Stegle，O.，DeepCpG：利用深度学习准确预测单细胞DNA甲基化状态，《基因组生物学》。，18, 67 (2017) [55] Yang，X.先生。；Kwitt，R。；Niethammer，M.，《快速预测图像注册》（Deep Learning and Data Labeling for Medical Applications，2016），施普林格出版社，48-57 [56] M.阿巴迪。；巴勒姆，P。；陈，J。；陈，Z。；A.戴维斯。；迪安·J。；德文，M。；Ghemawat，S。；欧文，G。；Isard，M。；库德勒，M。；Levenberg，J。；蒙加，R。；摩尔，S。；D.G.穆雷。；斯坦纳，B。；塔克，P。；瓦苏德万，V。；监狱长，P。；维克，M。；Yu，Y。；Zheng，X.，TensorFlow:大型机器学习系统，（第十二届USENIX操作系统设计与实现研讨会（2016）），265-283 [57] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），预印本 [58] Sapsis，T.P。；Lermusiaux，P.，连续随机动力系统的动力正交场方程，Physica D，2382347-2360（2009）·Zbl 1180.37119号 [59] Cheng，M。；Hou，T.Y。；Zhang，Z.，含时随机偏微分方程的动态双正交方法i：推导和算法，J.Compute。物理。，242843-868（2013）·Zbl 1297.65008号 [60] Cheng，M。；Hou，T.Y。；Zhang，Z.，含时随机偏微分方程的动态双正交方法II：自适应性和推广，J.Comput。物理。，242, 753-776 (2013) ·Zbl 1297.65007号 [61] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，（神经信息处理系统进展（2014）），2672-2680 [62] Yang，L。；张，D。；Karniadakis，G.E.，《随机微分方程的物理信息生成对抗网络》（2018年），预印本 [63] Hron，J。；马修斯，A.G.d.G。；Z.Ghahramani，《变异贝叶斯辍学：陷阱与修复》（2018），预印本 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。