×
杨一波;巴黎佩迪卡里斯

物理信息神经网络中的对抗不确定性量化。 （英文） Zbl 1452.68171号

J.计算。物理学。 394, 136-152 (2019).
摘要：我们提出了一个深度学习框架，用于使用物理信息神经网络量化和传播由非线性微分方程控制的系统中的不确定性。具体地说，我们使用潜在变量模型来构建系统状态的概率表示，并提出了一种对抗性的推理过程来训练它们的数据，同时限制它们的预测满足由偏微分方程表示的给定物理定律。这种基于物理信息的约束提供了一种正则化机制，可以有效地将深层生成模型训练为数据获取成本高、训练数据集通常较小的物理系统的代理。这为描述物理系统输出的不确定性提供了一个灵活的框架，因为物理系统输入的随机性或观测中的噪声完全绕过了重复采样昂贵的实验或数值模拟器的需要。我们通过一系列例子证明了我们方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播，以及直接从噪声数据中发现多孔介质中流动的本构定律。

引用于75文件

MSC公司：

68T07型 人工神经网络与深度学习
35B30码 PDE解对初始和/或边界数据和/或PDE参数的依赖性
65C20个 概率模型，概率统计中的通用数值方法
76S05号 多孔介质中的流动；过滤；渗流

关键词：

变分推理;生成性对抗网络;概率深度学习;概率科学计算;数据驱动模型

软件：

TensorFlow公司;辉光;Wasserstein甘;DiffSharp（差异锐化）;AlexNet公司;ImageNet公司;亚当;eSTOMP公司;奥姆尼格洛特;L-BFGS公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Yang}和\textit{P.Perdikaris}，J.Compute。物理学。394136-152（2019年；Zbl 1452.68171）
全文： 内政部 arXiv公司

参考文献：

[1] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行Imagenet分类，（神经信息处理系统进展（2012）），1097-1105
[2] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015）
[3] 莱克，B.M。；Salakhutdinov，R。；Tenenbaum，J.B.，《通过概率程序归纳法进行人类层面的概念学习》，《科学》，350，1332-1338（2015）·Zbl 1355.68230号
[4] Alipanahi，B。；德隆，A。；Weirauch，麻省理工学院。；Frey，B.J.，《通过深度学习预测DNA和RNA-结合蛋白的序列特异性》，《自然生物技术》，33，831-838（2015）
[5] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，第1卷（2016），麻省理工学院出版社：麻省理学院出版社剑桥·Zbl 1373.68009号
[6] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理学为基础的深度学习》（第一部分）：非线性偏微分方程的数据驱动解（2017年），预印本
[7] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《物理学为基础的深度学习》（第二部分）：非线性偏微分方程的数据驱动发现（2017年），预印本
[8] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，非线性动力系统数据驱动发现的多步神经网络（2018），预印本
[9] 莱斯，M。；Karniadakis，G.E.，《隐藏物理模型：非线性偏微分方程的机器学习》，J.Compute。物理。，357, 125-141 (2018) ·Zbl 1381.68248号
[10] Raissi，M.，《深层隐藏物理模型：非线性偏微分方程的深层学习》（2018），预印本·Zbl 1439.68021号
[11] Psichogios，哥伦比亚特区。；Ungar，L.H.，过程建模的混合神经网络第一原理方法，AIChE J.，381499-1511（1992）
[12] 拉加里斯，I.E。；利卡斯，A。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998)
[13] 佩迪卡里斯，P。；格林伯格。；Karniadakis，G.E.，脑血流的多尺度建模和模拟，物理学。流体，28，第021304条pp.（2016）
[14] Rossinelli，D。；唐，Y.-H。；Lykov，K。；Alexeev，D。；伯纳西，M。；Hadjidoukas，P。；比森，M。；Joubert，W。；康蒂，C。；Karniadakis，G.，《芯片内实验室：细胞分辨率下微流体的千兆瓦级和高通量模拟》（《高性能计算、网络、存储和分析国际会议论文集》（2015），ACM），2
[15] Šukys，J。；Rasthofer，美国。；Wermelinger，F。；Hadjidoukas，P。；Koumoutsakos，P.，用于云空化坍塌模拟中不确定性量化的最佳保真度多级蒙特卡罗（2017），预印本
[16] Oden，J.T。；莫瑟，R。；Ghattas，O.，《量化不确定性的计算机预测》，第二部分，SIAM News，43，1-4（2010）
[17] 加尼姆，R。；Spanos，P.D.，随机有限元中的多项式混沌，J.Appl。机械。，57, 197-202 (1990) ·Zbl 0729.73290号
[18] 秀，D。；Karniadakis，G.E.，随机微分方程的Wiener-Askey多项式混沌，SIAM J.Sci。计算。，24, 619-644 (2002) ·Zbl 1014.65004号
[19] Najm，H.N.，《计算流体动力学中的不确定性量化和多项式混沌技术》，年。流体力学版次。，41, 35-52 (2009) ·Zbl 1168.76041号
[20] 郭士纳，T。；Griebel，M.，《使用稀疏网格的数值积分》，Numer。算法，18，209（1998）·Zbl 0921.65022号
[21] 埃尔德雷德，M。；Burkardt，J.，《非侵入多项式混沌与不确定性量化随机配置方法的比较》，（第47届AIAA航空航天科学会议，包括新视野论坛和航空航天博览会（2009）），976
[22] Barth，A。；施瓦布，C。；Zollinger，N.，随机系数椭圆偏微分方程的多级蒙特卡罗有限元方法，数值。数学。，119, 123-161 (2011) ·Zbl 1230.65006号
[23] 佩赫斯托弗，B。；Willcox，K。；Gunzburger，M.，多重蒙特卡罗估计的最优模型管理，SIAM J.Sci。计算。，38，A3163-A3194（2016）·Zbl 1351.65009号
[24] Berkooz，G。；霍姆斯，P。；Lumley，J.L.，湍流分析中的适当正交分解，阿努。流体力学版次。，25, 539-575 (1993)
[25] Le Maêtre，O。；Knio，O.M.，《不确定性量化的光谱方法：在计算流体动力学中的应用》（2010），Springer Science&Business Media·Zbl 1193.76003号
[26] Bilinis，I。；Zabaras，N.，《多输出局部高斯过程回归：应用于不确定性量化》，J.Compute。物理。，231, 5718-5746 (2012) ·Zbl 1277.60066号
[27] Bilinis，I。；北卡罗来纳州扎巴拉斯。；科诺米，学士。；Lin，G.，《多输出可分离高斯过程：实现不确定性量化的高效、完全贝叶斯范式》，J.Compute。物理。，241, 212-239 (2013) ·Zbl 1349.76760号
[28] 佩迪卡里斯，P。；文丘里，D。；Karniadakis，G.E.，高维系统和海量数据集的高保真度信息融合算法，SIAM J.Sci。计算。，38，B521-B538（2016）·Zbl 1342.62110号
[29] 金玛，D.P。；Welling，M.，自动编码变分贝叶斯（2013），预印本
[30] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，（神经信息处理系统进展（2014）），2672-2680
[31] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[32] Baydin，A.G。；Pearlmutter，B.A。；Radul，A.A。；Siskind，J.M.，《机器学习中的自动区分：一项调查》（2015年），预印本
[33] 阿巴迪，M。；巴勒姆，P。；陈，J。；陈，Z。；A.戴维斯。；迪安·J。；德文，M。；Ghemawat，S。；欧文，G。；Isard，M.，Tensorflow:大规模机器学习系统，（OSDI，第16卷（2016）），265-283
[34] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯·R·P。；De Freitas，N.，《让人类走出循环：贝叶斯优化综述》，Proc。IEEE，104148-175（2016）
[35] C.Li，J.Li，G.Wang，L.Carin，2018，学习使用对手学习的似然比进行抽样。；C.Li，J.Li，G.Wang，L.Carin，2018年，《学习使用对手学习的似然比进行抽样》。
[36] Salimans，T。；古德费罗，I。；Zaremba，W。；张，V。；拉德福德，A。；Chen，X.，训练GANS的改进技术，（神经信息处理系统进展（2016）），2234-2242
[37] Akaike，H.，《信息论与最大似然原理的扩展》，（Hirotugu Akaike1998年的论文选集，Springer），199-213
[38] J.-Y.Zhu，T.Park，P.Isola，A.A.Efros，使用循环一致对抗网络的未配对图像到图像转换，收录于：IEEE计算机视觉国际会议论文集，第2223-232页。；J.-Y.Zhu，T.Park，P.Isola，A.A.Efros，使用循环一致对抗网络的未配对图像到图像转换，收录于：IEEE计算机视觉国际会议论文集，第2223-232页。
[39] Lee，H.-Y。；曾海云（Tseng，H.-Y.）。；黄，J.-B。；辛格，M。；Yang，M.-H.，通过非纠缠表示进行的多样图像到图像转换，（《欧洲计算机视觉会议论文集》，欧洲计算机视觉大会论文集，ECCV（2018）），35-51
[40] Harsh Jha，A。；阿南德，S。；辛格，M。；Veeravasarapu，V.，《用循环一致变分自动编码器分离变异因子》（《欧洲计算机视觉会议论文集》，欧洲计算机视觉大会论文集，ECCV（2018）），805-820
[41] 米尔扎，M。；Osindero，S.，条件生成对抗网（2014），预印本
[42] Arjovsky，M。；钦塔拉，S。；Bottou，L.，Wasserstein GAN（2017），预印本
[43] Yang，L。；张，D。；Karniadakis，G.E.，《随机微分方程的物理信息生成对抗网络》（2018年），预印本
[44] Pu，Y。；Chen，L。；Dai，S。；Wang，W。；Li，C。；Carin，L.，《对称变分自动编码器与对抗性学习的联系》（2017），预印本
[45] Makhzani，A。；Shlens，J。；北卡罗来纳州贾特利。；古德费罗，I。；Frey，B.，《对手自动编码器》（2015），预印本
[46] 杜穆林，V。；贝尔加齐，I。；普尔，B。；Mastropetro，O。；兰姆，A。；Arjovsky，M。；Courville，A.，《对抗性学习推理》（2016），预印本
[47] Mescheder，L。；Nowozin，S。；Geiger，A.，《对抗性变分贝叶斯：统一变分自动编码器和生成性对抗网络》（2017），预印本
[48] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，《变分推断：统计学家评论》，J.Am.Stat.Assoc.，112，859-877（2017）
[49] 金玛，D.P。；Ba，J.，Adam：随机优化方法（2014），预印本
[50] Cockayne，J。；奥茨，C。；沙利文，T。；Girolma，M.，偏微分方程和贝叶斯反问题的概率无网格方法（2016），预印本
[51] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《利用噪声多保真数据推断微分方程解》，J.Compute。物理。，335, 736-746 (2017) ·兹比尔1382.65229
[52] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40，A172-A198（2018）·Zbl 1386.65030号
[53] 科克恩，J。；奥茨，C。；沙利文，T。；Girolma，M.，贝叶斯概率数值方法（2017），预印本
[54] Hopf，E.，偏微分方程ut+\（uux=μ\）xx，Commun。纯应用程序。数学。，3, 201-230 (1950) ·Zbl 0039.10403号
[55] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号
[56] 塔塔科夫斯基，A.M。；马里罗，哥伦比亚特区。；塔塔科夫斯基，D。；巴拉哈斯·索拉诺（Barajas-Solano），D.，学习参数和与物理相关的深层神经网络的本构关系（2018年），预印本
[57] 怀特，M。；Oostrom，M。；Lenhard，R.，用STOMP模拟器模拟可变饱和多孔介质中的流体流动和传输，1:非挥发性三相模型描述，Adv.Water Resour。，18, 353-364 (1995)
[58] Van Genuchten，M.T.，非饱和土壤导水率预测的闭合方程，1：土壤，科学。《美国社会杂志》，44，892-898（1980）
[59] 托尔斯蒂金，I。；O.布斯克。；盖利，S。；Schoelkopf，B.，Wasserstein自动编码器（2017），预印本
[60] Rezende，D.J。；Mohamed，S.，《归一化流的变分推断》（2015），预印本
[61] 金玛，D.P。；Dhariwal，P.，Glow：具有可逆1×1卷积的生成流（2018），预印本
[62] 格洛洛特，X。；Bengio，Y.，《理解深度前馈神经网络训练的困难》，（第十三届国际人工智能与统计会议论文集（2010）），249-256
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。