×

从数据和物理中学习函数的先验和后验。 (英语) Zbl 1515.62046号

摘要:我们基于深度神经网络开发了一个新的贝叶斯框架,能够使用历史数据在时空中进行外推,并量化物理问题中由噪声和间隙数据引起的不确定性。具体来说,所提出的方法有两个阶段:(1)先验学习和(2)后验估计。在第一阶段,我们使用物理信息生成对抗网络(PI-GAN)从规定的函数分布(如高斯过程)或历史数据和物理中学习函数先验。在第二阶段,我们使用哈密顿蒙特卡罗(HMC)方法估计PI-GAN潜在空间的后验值。此外,我们使用两种不同的方法对物理进行编码:(1)自动微分,用于物理信息神经网络(PINN),用于具有明确已知偏微分方程(PDE)的场景;(2)使用深度算子网络(DeepONet)进行算子回归,用于PDE不可知场景。然后,我们测试了所提出的方法(1)一维回归和正向/反向PDE问题(结合PINN)的元学习;(2) 与PDE无关的物理问题(与DeepONet结合),例如非均质多孔介质中的分数扩散以及饱和随机(100维)流动;(3)时空回归问题,即利用挪威深水计划(NDP)的实验数据推断海洋立管位移场。结果表明,由于历史数据可以提供信息丰富的先验信息,因此在非常有限的分散和噪声数据下,所提出的方法可以提供准确的预测以及不确定性量化。总之,该方法能够学习灵活的函数先验知识,例如高斯过程和非高斯过程,并且可以通过使用随机HMC或归一化流进行小样本训练,很容易扩展到大数据问题,因为潜在空间通常具有低维特征。

MSC公司:

2015年1月62日 贝叶斯推断
2017年10月68日 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] LeCun,Y。;Y.本吉奥。;Hinton,G.,《深度学习》,《自然》,521,7553,436-444(2015)
[2] 古德费罗,I。;Y.本吉奥。;科尔维尔,A。;Bengio,Y.,《深度学习》,第1卷(2016),麻省理工学院出版社:麻省理学院出版社剑桥·Zbl 1373.68009号
[3] 肯德尔,A。;Gal,Y.,我们在计算机视觉的贝叶斯深度学习中需要哪些不确定性?(2017),arXiv预印本
[4] Rasmussen,C.E.,机器学习中的高斯过程,(机器学习暑期学校(2003),Springer),63-71·Zbl 1120.68436号
[5] Neal,R.M.,《神经网络贝叶斯学习》,第118卷(2012),施普林格科学与商业媒体
[6] Raissi先生。;佩迪卡里斯,P。;Karniadakis,G.E.,使用高斯过程的线性微分方程的机器学习,计算杂志。物理。,348, 683-693 (2017) ·Zbl 1380.68339号
[7] Yang,L.等人。;X孟。;Karniadakis,G.E.,B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络,J.Compute。物理。,425,第109913条pp.(2021)·Zbl 07508507号
[8] Raissi先生。;佩迪卡里斯,P。;Karniadakis,G.E.,《基于物理的神经网络:用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》,J.Compute。物理。,378686-707(2019)·Zbl 1415.68175号
[9] X孟。;Karniadakis,G.E.,《从多保真数据中学习的复合神经网络:函数逼近和PDE逆问题的应用》,J.Compute。物理。,401,第109020条pp.(2020)·Zbl 1454.76006号
[10] X孟。;Babaee,H。;Karniadakis,G.E.,《多精度贝叶斯神经网络:算法和应用》,J.Compute。物理。,第110361条pp.(2021)·Zbl 07505956号
[11] 布伦德尔,C。;科内比斯,J。;Kavukcuoglu,K。;Wierstra,D.,神经网络中的权重不确定性,(机器学习国际会议,PMLR(2015)),1613-1622
[12] Chen,T。;福克斯,E。;Guestrin,C.,随机梯度Hamiltonian Monte Carlo,(机器学习国际会议,PMLR(2014)),1683-1691
[13] Lee,J。;Bahri,Y。;诺瓦克,R。;Schoenholz,S.S。;宾夕法尼亚州。;Sohl-Dickstein,J.,《作为高斯过程的深度神经网络》(2017),arXiv预印本
[14] Flam-Shepherd,D。;雷奎玛,J。;Duvenaud,D.,在贝叶斯神经网络之前映射高斯过程,(NIPS贝叶斯深度学习研讨会(2017))
[15] Tran,B.-H。;罗西,S。;Milios,D。;Filippone,M.,你所需要的是贝叶斯深度学习(2020)的良好功能性先验,arXiv预印本
[16] Yang,L.等人。;张,D。;Karniadakis,G.E.,《随机微分方程的物理信息生成对抗网络》,SIAM J.Sci。计算。,42、1、A292-A317(2020)·Zbl 1440.60065号
[17] 卡拉汉,J.L。;Maeda,K。;Brunton,S.L.,通过稀疏表示从有限的测量中进行稳健的流动重建,Phys。《流体版本》,第4、10条,第103907页(2019年)
[18] 芬恩,C。;Abbeel,P。;Levine,S.,用于深度网络快速适应的模型认知元学习,(机器学习国际会议,PMLR(2017)),1126-1135
[19] 医学博士霍夫曼。;Gelman,A.,No-U-Turn采样器:在哈密顿蒙特卡罗,J.Mach中自适应设置路径长度。学习。第15号、第1号、第1593-1623号决议(2014年)·兹比尔1319.60150
[20] 卢,L。;Jin,P。;庞,G。;张,Z。;Karniadakis,G.E.,基于算子的普遍逼近定理,通过DeepONet学习非线性算子,Nat.Mach。智力。,3, 3, 218-229 (2021)
[21] 帕特尔·D·V。;Oberai,A.A.,基于GAN的不确定性量化先验(2020年),arXiv预印本·Zbl 1473.62092号
[22] 帕特尔·D·V。;雷·D。;拉马斯瓦米,H。;Oberai,A.,《具有对抗性先验的物理驱动问题中的贝叶斯推理》(NeurIPS 2020深度学习和逆向问题研讨会(2020))
[23] 古德费罗,I.J。;Pouget-Abadie,J。;米尔扎,M。;徐,B。;Warde-Farley,D。;Ozair,S。;科尔维尔,A。;Bengio,Y.,《生成性对抗网络》(2014),arXiv预印本
[24] 古拉贾尼,I。;艾哈迈德·F。;阿尔乔夫斯基,M。;杜穆林,V。;Courville,A.,《Wasserstein GANs改进培训》(2017),arXiv预印本
[25] 蔡,S。;王,Z。;卢,L。;扎基,T.A。;Karniadakis,G.E.,Deepm&mnet:基于神经网络算子近似推断电对流多物理场,J.Compute。物理。,436,第110296条pp.(2021)·Zbl 07513856号
[26] 毛,Z。;Karniadakis,G.E.,具有一般双边分数导数的扩散方程奇异解的谱方法(指数收敛),SIAM J.Numer。分析。,56, 1, 24-49 (2018) ·Zbl 1422.65428号
[27] 郑琦。;曾,L。;Karniadakis,G.E.,《基于物理的语义修复:地质统计建模应用》,J.Compute。物理。,419,第109676条,第(2020)页·Zbl 07507237号
[28] Meerschaert,M.M。;多根,M。;Van Dam,R.L。;Hyndman,D.W。;Benson,D.A.,《导水率场:高斯与否?》?,水资源。研究,49,8,4730-4737(2013)
[29] 康,X。;施,X。;雷维尔,A。;曹,Z。;李,L。;Lan,T。;Wu,J.,通过联合同化地球化学和时间推移地球物理数据识别非高斯导水率场的耦合水文地球物理反演,J.Hydrol。,578,第124092条pp.(2019)
[30] 模型,V.I.V.,悬链线立管测试(2001),挪威海洋技术研究所,技术代表512345.00.01
[31] Hospedales,T。;安东尼奥,A。;Michaelli,P。;Storkey,A.,《神经网络中的元学习:一项调查》(2020年),arXiv预印本
[32] Lao,J。;苏特,C。;Langmore,I。;奇米索夫,C。;Saxena,A。;苏恩佐夫,P。;摩尔,D。;苏鲁斯,R.A。;医学博士霍夫曼。;Dillon,J.V.,第。mcmc:为现代硬件构建的现代马尔可夫链蒙特卡罗工具(2020),arXiv预打印
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。