×
马齐亚·莱斯;乔治·埃姆·卡尼亚达基斯

隐藏物理模型：非线性偏微分方程的机器学习。 （英语） Zbl 1381.68248号

J.计算。物理学。 357125-141（2018）.
摘要：虽然目前人们对“大数据”有很大的热情，但有用的数据通常“小”且获取成本高昂。本文提出了一种从小数据中学习偏微分方程的新范式。特别是，我们引入了隐藏的物理模型，这些模型本质上是数据效率高的学习机器，能够利用由时间相关和非线性偏微分方程表示的物理基本定律，从实验生成的高维数据中提取模式。所提出的方法可以应用于偏微分方程的学习、系统识别或数据驱动发现问题。我们的框架依赖于高斯过程，高斯过程是对函数进行概率推理的强大工具，它使我们能够在模型复杂性和数据拟合之间取得平衡。通过跨越多个科学领域的各种典型问题，包括Navier-Stokes、Schrödinger、Kuramoto-Sivashinsky和依赖时间的线性分数方程，证明了所提方法的有效性。该方法为利用应用数学和数学物理经典方法的长期发展来设计能够在复杂领域中操作而不需要大量数据的学习机器提供了一个有希望的新方向。

引用于1审查
引用于222文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
35G50型 非线性高阶偏微分方程组
35季度30 Navier-Stokes方程
2011年第35季度 依赖时间的薛定谔方程和狄拉克方程
35兰特 分数阶偏微分方程
60G15年 高斯过程
68层37 人工智能背景下的不确定性推理

关键词：

概率机器学习;系统标识;贝叶斯建模;不确定性量化;分数方程;小数据

软件：

PMTK公司;L-BFGS公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Raissi}和\textit{G.E.Karniadakis}，J.Compute。物理学。357125-141（2018年；Zbl 1381.68248）
全文： 内政部 arXiv公司

参考文献：

[1] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，含时和非线性偏微分方程的数值高斯过程（2017），arXiv预印本
[2] Rudy，S.H。；Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，偏微分方程的数据驱动发现，科学。高级，3（2017）
[3] 克拉奇菲尔德，J.P。；麦克纳马拉，B.S.，《来自数据系列的运动方程》，复杂系统。，1211（1987年）·Zbl 0675.58026号
[4] Kevrekidis，I.G。；齿轮，C.W。；海曼，J.M。；Kevrekidid，P.G.，法国。；Runborg，O。；Theodoropoulos，C.，《无方程、粗粒度多尺度计算：使微观模拟器能够执行系统级分析》，Commun。数学。科学。，1, 715-762 (2003) ·Zbl 1086.65066号
[5] Gonzalez-Garcia，R。；Rico-Martinez，R。；Kevrekidis，I.，分布参数系统的识别：基于神经网络的方法，计算。化学。工程师，22，S965-S968（1998）
[6] 沃斯·H·U。；科洛德纳，P。；阿贝尔，M。；Kurths，J.，时空二元流体对流数据的振幅方程，物理学。修订稿。，833422（1999年）
[7] 杉原，G。；5月，R。；Ye，H。；谢家华。；Deyle，E。；Fogarty，M。；Munch，S.，《探测复杂生态系统中的因果关系》，《科学》，338496-500（2012）·Zbl 1355.92144号
[8] Ye，H。；比米什·R·J。；Glaser，S.M。；格兰特，S.C。；谢家华。；理查兹，L.J。；Schnute，J.T。；Sugihara，G.，使用经验动态建模进行无方程机械生态系统预测，Proc。国家。阿卡德。科学。，112，E1569-E1576（2015）
[9] Roberts，A.J.，《复杂系统中的模型涌现动力学》（2014），SIAM
[10] 施密特，医学博士。；瓦拉巴乔舒拉（Vallabhajosyula），R.R。；詹金斯，J.W。；胡德，J.E。；Soni，A.S。；Wikswo，J.P。；Lipson，H.，《代谢网络分析模型的自动优化和推断》，Phys。生物学，8，第055011条pp.（2011）
[11] 丹尼尔斯，不列颠哥伦比亚省。；Nemenman，I.，现象学动力学模型的自动自适应推理，国家通讯社。，6 (2015)
[12] 丹尼尔斯，不列颠哥伦比亚省。；Nemenman，I.，《使用s系统和交替回归对细胞动力学简约现象学模型的有效推断》，《公共科学图书馆·综合》，第10期，第e0119821页，（2015）
[13] Majda，A.J。；Franzke，C。；Crommelin，D.，简化随机气候模型的标准形，Proc。国家。阿卡德。科学。，106, 3649-3653 (2009) ·Zbl 1202.86011号
[14] Giannakis，D。；Majda，A.J.，具有间歇性和低频可变性的时间序列的非线性拉普拉斯谱分析，Proc。国家。阿卡德。科学。，109, 2222-2227 (2012) ·Zbl 1256.62053号
[15] Mezić，I.，动力学系统的谱特性，模型简化和分解，非线性动力学。，41, 309-325 (2005) ·Zbl 1098.37023号
[16] Budišić，M。；莫尔，R。；Mezić，I.，Applied koopmanism a，Chaos，22，文章047510 pp.（2012）·Zbl 1319.37013号
[17] Mezić，I.，通过Koopman算子的光谱特性分析流体流动，Annu。Rev.流体机械。，45, 357-378 (2013) ·兹比尔1359.76271
[18] Brunton，S.L。；布伦顿，B.W。；Proctor，J.L。；Kaiser，E。；Kutz，J.N.，《混沌作为一个间歇性强迫线性系统》，国家通讯社。，8（2017）
[19] 邦加德，J。；Lipson，H.，《非线性动力系统的自动逆向工程》，Proc。国家。阿卡德。科学。，104, 9943-9948 (2007) ·Zbl 1155.37044号
[20] 施密特，M。；Lipson，H.，《从实验数据中提取自由形式自然法则》，《科学》，32481-85（2009）
[21] Tibshirani，R.，通过套索进行回归收缩和选择，J.R.Stat.Soc.B，267-288（1996）·Zbl 0850.62538号
[22] Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。，113, 3932-3937 (2016) ·Zbl 1355.94013号
[23] 新墨西哥州曼根。；Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，《通过非线性动力学的稀疏识别推断生物网络》，IEEE Trans。分子生物学。多尺度公共。，2, 52-63 (2016)
[24] Wang，W.-X。；Yang，R。；赖，Y.-C。；科瓦尼斯，V。；Grebogi，C.，通过压缩感知预测非线性动力系统中的灾难，物理学。修订稿。，106，第154101条pp.（2011）
[25] 谢弗，H。；Caflisch，R。；Hauck，C.D。；Osher，S.，偏微分方程的稀疏动力学，Proc。国家。阿卡德。科学。，110, 6634-6639 (2013) ·兹比尔1292.35012
[26] Ozoliņsh，V。；赖，R。；Caflisch，R。；Osher，S.，数学和物理中变分问题的压缩模式，Proc。国家。阿卡德。科学。，110, 18368-18373 (2013) ·Zbl 1292.81024号
[27] Mackey，A。；谢弗，H。；Osher，S.，关于压缩谱方法，多尺度模型。模拟。，12, 1800-1827 (2014) ·Zbl 1314.65152号
[28] Brunton，S.L。；Tu，J.H。；光明，我。；Kutz，J.N.，非线性动力系统分岔状态分类的压缩传感和低阶库，SIAM J.Appl。动态。系统。，13, 1716-1732 (2014) ·Zbl 1354.37078号
[29] Proctor，J.L。；Brunton，S.L。；布伦顿，B.W。；Kutz，J.，《开发复杂系统中的稀疏性和无方程体系结构》，《欧洲物理学》。J.规格顶部。，2232665-2684（2014年）
[30] Bai，Z。；Wimalajeewa，T。；Z·伯杰。；王，G。；格拉泽，M。；Varshney，P.K.，通过压缩传感重建翼型数据的低维方法，AIAA J.，53，4，920-933（2015）
[31] Tran，G。；Ward，R.，《从高度损坏的数据中精确恢复混沌系统》（2016），arXiv预印本
[32] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《利用噪声多保真数据推断微分方程解》，J.Compute。物理。，335, 736-746 (2017) ·Zbl 1382.65229号
[33] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348, 683-693 (2017) ·Zbl 1380.68339号
[34] 拉斯穆森，C.E。；Williams，C.K.，机器学习的高斯过程，第1卷（2006年），麻省理工学院出版社：麻省理工学院出版社剑桥·Zbl 1177.68165号
[35] Murphy，K.P.，《机器学习：概率观点》（2012），麻省理工学院出版社·Zbl 1295.68003号
[36] Neal，R.M.，《神经网络贝叶斯学习》，第118卷（2012），施普林格科学与商业媒体
[37] Vapnik，V.，《统计学习理论的本质》（2013），施普林格科学与商业媒体·Zbl 0934.62009号
[38] Schölkopf，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化和超越》（2002），麻省理工学院出版社
[39] Tipping，M.E.，稀疏贝叶斯学习和相关向量机，J.Mach。学习。第1211-244号决议（2001年）·Zbl 0997.68109号
[40] Tikhonov，A.，错误公式化问题的解决和正则化方法，苏联数学。道克。，4, 1035-1038 (1963) ·Zbl 0141.11001号
[41] Tikhonov，A.N。；Arsenin，V.Y.，《病态问题的解决方案》（1977），W.H.Winston·Zbl 0354.65028号
[42] Poggio，T。；Girosi，F.，《近似和学习网络》，Proc。IEEE，78，1481-1497（1990）·Zbl 1226.92005号
[43] Aronszajn，N.，再生内核理论，Trans。美国数学。Soc.，68，337-404（1950）·Zbl 0037.20701号
[44] Saitoh，S.，《再生核理论及其应用》，第189卷（1988年），朗曼·Zbl 0652.30003号
[45] Berlinet，A。；Thomas-Agnan，C.，《概率统计中的核希尔伯特空间再现》（2011），施普林格科学与商业媒体
[46] Duvenaud，D。；劳埃德·J·R。；Grosse，R。；Tenenbaum，J.B。；Ghahramani，Z.，通过成分核搜索在非参数回归中发现结构（2013），arXiv预印本
[47] Grosse，R。；Salakhutdinov，R.R。；弗里曼，W.T。；Tenenbaum，J.B.，《利用复合性探索模型结构的大空间》（2012），arXiv预印本
[48] G.Malkomes，C.Schaff，R.Garnett，自动化模型选择的贝叶斯优化，in：神经信息处理系统的进展，第2900-2908页。；G.Malkomes，C.Schaff，R.Garnett，自动化模型选择的贝叶斯优化，载于：神经信息处理系统的进展，第2900-2908页。
[49] R.Calandra，J.Peters，C.E.Rasmussen，M.P.Deisenroth，回归的流形高斯过程，摘自：2016年国际神经网络联合会议（IJCNN），IEEE，第3338-3345页。；R.Calandra，J.Peters，C.E.Rasmussen，M.P.Deisenroth，回归的流形高斯过程，收录于：2016年国际神经网络联合会议（IJCNN），IEEE，第3338-3345页。
[50] 莱斯，M。；Karniadakis，G.，深多保真度高斯过程（2016），arXiv预印本
[51] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号
[52] 拉斯穆森，C.E。；Z.Ghahramani，Occam剃刀，高级神经信息处理。系统。，294-300 (2001)
[53] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号
[54] E.Snelson，Z.Ghahramani，使用伪输入的稀疏高斯过程，in：神经信息处理系统的进展，pp.1257-1264。；E.Snelson，Z.Gahramani，使用伪输入的稀疏高斯过程，见：神经信息处理系统的进展，第1257-1264页。
[55] 亨斯曼，J。；福斯，N。；Lawrence，N.D.，《大数据的高斯过程》，（第二十届人工智能不确定性会议论文集。第二十届人造智能不确定性大会论文集，UAI 2013，美国华盛顿州贝尔维尤，2013年8月11-15日）
[56] Raissi，M.，大数据的参数高斯过程回归（2017），arXiv预印本
[57] Basdevant，C。；德维尔，M。；Haldenwang，P。；Lacroix，J。；瓦扎尼，J。；佩雷特，R。；奥兰迪，P。；Patera，A.，伯格方程的谱和有限差分解，计算。流体，14，23-41（1986）·Zbl 0612.76031号
[58] Dauxois，T.，Fermi，Pasta，Ulam and a神秘女士（2008），arXiv预印本
[59] 海曼，J.M。；Nicolaenko，B.，《Kuramoto-Sivashinsky方程：偏微分方程与动力系统之间的桥梁》，《物理学D》，第18期，第113-126页（1986年）·Zbl 0602.58033号
[60] Shraiman，B.I.，《有序、无序和相位湍流》，《物理学》。修订稿。，57, 325 (1986)
[61] 尼古兰科，B。；Scheurer，B。；Temam，R.，Kuramoto-Sivashinsky方程的一些全局动力学性质：非线性稳定性和吸引子，Physica D，16，155-183（1985）·Zbl 0592.35013号
[62] 库茨，J.N。；Brunton，S.L。；布伦顿，B.W。；Proctor，J.L.，《动态模式分解：复杂系统的数据驱动建模》，第149卷（2016），SIAM·Zbl 1365.65009号
[63] Taira，K。；Colonius，T.，《浸没边界法：投影法》，J.Compute。物理。，225, 2118-2137 (2007) ·Zbl 1343.76027号
[64] 科隆尼乌斯，T。；Taira，K.，使用零空间方法和多域远场边界条件的快速浸没边界法，计算。方法应用。机械。工程师，1972131-2146（2008）·Zbl 1158.76395号
[65] Podlubny，I.，《分数微分方程：分数导数、分数微分方程、其求解方法及其应用简介》，第198卷（1998年），学术出版社
[66] Nolan，J.，《稳定分布：重尾流数据模型》（2003），Birkhauser出版社：Birkhauser纽约
[67] 钱伯斯，J.M。；马尔洛，C.L。；Stuck，B.，《一种模拟稳定随机变量的方法》，美国统计协会，71，340-344（1976）·Zbl 0341.65003号
[68] 沃伦，A。；Weron，R.，Lévy（α）稳定变量和过程的计算机模拟，（混沌——随机行为和确定性行为之间的相互作用（1995）），379-392·Zbl 0835.60009号
[69] J.Hartikainen，S.Särkkä，时间高斯过程回归模型的卡尔曼滤波和平滑解决方案，摘自：2010年IEEE信号处理机器学习国际研讨会，IEEE，第379-384页。；J.Hartikainen，S.Särkkä，时间高斯过程回归模型的卡尔曼滤波和平滑解决方案，收录于：2010年IEEE信号处理机器学习国际研讨会，IEEE，第379-384页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。