陈一凡;巴马达·侯赛尼;霍曼·奥瓦迪;斯图亚特，安德鲁·M。 用高斯过程求解和学习非线性偏微分方程。 （英语） Zbl 07516428号 J.计算。物理学。 447，文章ID 110668，29 p.（2021）. 摘要：我们介绍了一个简单、严格和统一的框架，用于求解非线性偏微分方程（PDE），以及使用高斯过程框架求解涉及PDE中参数识别的反问题（IP）。提出的方法：（1）将配置核方法自然推广到非线性偏微分方程和微分方程；（2） 保证了一类非常一般的偏微分方程的收敛性，并配备了一条计算特定偏微分方程近似误差边界的路径；（3） 继承了稠密核矩阵线性求解器的最新计算复杂性。我们方法的主要思想是将给定PDE的解近似为高斯过程的最大后验（MAP）估计，条件是在有限个配置点处求解PDE。虽然这个优化问题是无限维的，但通过引入与配置点处解的导数值相对应的附加变量，可以将其简化为有限维的优化问题；这推广了高斯过程回归中的代表定理。简化优化问题具有受非线性约束的二次目标函数的形式；它是用高斯-纽顿方法的一种变体来求解的。由此产生的算法（a）可以解释为求解非线性偏微分方程的连续线性化，并且（b）在实践中发现，对于广泛的偏微分方程，在少量迭代（2到10）中收敛。大多数传统的IP方法将参数更新与PDE的数值解交织在一起；我们的算法同时求解参数解和PDE解。非线性椭圆偏微分方程、Burgers方程、正则化Eikonal方程和Darcy流渗透率识别IP的实验证明了该框架的有效性和适用范围。 引用于31文件 MSC公司： 65立方厘米 概率方法，随机微分方程 68泰克 人工智能 62Gxx公司 非参数推理 关键词：内核方法;高斯过程;非线性偏微分方程;反问题;最佳回收率 软件：PDE-网络;PIN码NTK码;DGM公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Chen}等人，J.Compute。物理学。447，文章ID 110668，29 p.（2021；Zbl 07516428） 全文： 内政部 arXiv公司 链接 参考文献： [1] 亚当斯，R.A。；Fournier，J.J.，Sobolev Spaces（2003），Elsevier·Zbl 1098.46001号 [2] 安德森，W。；Trapp，G.，Shorted运算符。二、 SIAM J.应用。数学。，28, 60-71 (1975) ·Zbl 0295.47032号 [3] 巴布什卡，I。；Osborn，J.，有限元方法能任意糟糕地执行吗？，数学。计算。，69, 443-462 (2000) ·Zbl 0940.65086号 [4] Bar-Sinai，Y。；霍耶，S。；希基，J。；Brenner，M.P.，学习偏微分方程的数据驱动离散化，Proc。国家。阿卡德。科学。，116, 15344-15349 (2019) ·Zbl 1431.65195号 [5] 巴塔查亚，K。；侯赛尼，B。；科瓦奇奇，N.B。；Stuart，A.M.，参数偏微分方程的模型简化和神经网络，SMAI J.Compute。数学。，7, 121-157 (2021) ·Zbl 1481.65260号 [6] Bogachev，V.I.，高斯测度（1998），美国数学学会·Zbl 0938.28010号 [7] Boncoraglio，G。；Farhat，C.，用于多学科分析和优化的主动流形和模型约简，（AIAA科学技术2021论坛（2021）），1694 [8] Brezis，H.，函数分析，Sobolev空间和偏微分方程（2010），Springer科学与商业媒体·Zbl 1218.46002号 [9] Calderhead，B。；Girolma，M。；Lawrence，N.D.，用高斯过程加速非线性微分方程的贝叶斯推断，（神经信息处理系统进展（2009）），217-224 [10] 陈，Y。；奥哈迪，H。；Stuart，A.，层次参数估计的经验贝叶斯和核流的一致性，数学。计算。(2021) ·Zbl 1472.62012年 [11] Cochocki，A。；Unbehauen，R.，《用于优化和信号处理的神经网络》（1993），John Wiley&Sons，Inc·Zbl 0824.68101号 [12] Cockayne，J。；奥茨，C。；T·沙利文。；Girolma，M.，PDE约束贝叶斯反问题的概率数值方法，AIP Conf.Proc。，1853年，第060001条pp.（2017） [13] Cockayne，J。；Oates，C.J。；T·J·沙利文。；Girolma，M.，贝叶斯概率数值方法，SIAM Rev.，61756-789（2019）·Zbl 1451.65179号 [14] 科特，S.L。；Dashti，M。；Stuart，A.M.，偏微分方程的贝叶斯反问题逼近，SIAM J.Numer。分析。，48, 322-345 (2010) ·Zbl 1210.35284号 [15] 科特，S.L。；Roberts，G.O。；Stuart，A.M。；White，D.，MCMC函数方法：修改旧算法使其更快，Stat.Sci。，424-446 (2013) ·Zbl 1331.62132号 [16] Dashti，M。；法律，K.J。；Stuart，A.M。；Voss，J.，Bayesian非参数反问题中MAP估计及其一致性，逆问题。，29，第095017条pp.（2013）·兹比尔1281.62089 [17] Dashti，M。；Stuart，A.M.，《反问题的贝叶斯方法》，（Ghanem，R.；Higdon，D.；Owhadi，H.，《不确定性量化手册》（2016），施普林格国际出版公司），1-118 [18] Diaconis，P.，《贝叶斯数值分析》（Gupta，S.S.；Berger，J.，《统计决策理论及相关主题IV》（1988），Springer）·Zbl 0671.65117号 [19] 杰里丹，B。；Lygeros，J.，PDE解的神经近似：可达性计算的应用，（第45届IEEE决策与控制会议论文集（2006），IEEE），3034-3039 [20] 英国，H.W。；汉克，M。；Neubauer，A.，《反问题的正则化》，第375卷（1996），Springer Science&Business Media·兹比尔0859.65054 [21] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，《统计学习的要素》（2001），斯普林格出版社·Zbl 0973.62007号 [22] 古德费罗，I。；Y.本吉奥。；科尔维尔，A。；Bengio，Y.，《深度学习》，第1卷（2016），麻省理工出版社·Zbl 1373.68009号 [23] Han，J。；Jentzen，A。；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 8505-8510 (2018) ·Zbl 1416.35137号 [24] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度剩余学习，（IEEE计算机视觉和模式识别会议论文集（2016）），770-778 [25] Hennig，P。；奥斯本，医学硕士。；Giramia，M.，《概率数字与计算中的不确定性》，Proc。R.Soc.A，471，第20150142条，pp.（2015）·Zbl 1372.65010号 [26] Hinze，M。；皮诺，R。；Ulbrich，M。；Ulbrich，S.，《PDE约束下的优化》，第23卷（2008），Springer Science&Business Media·Zbl 1167.49001号 [27] Jacot，A。；加布里埃尔，F。；Hongler，C.，《神经切线核：神经网络中的收敛和泛化》，（第32届神经信息处理系统国际会议论文集（2018）），8580-8589 [28] 凯皮奥，J。；Somersalo，E.，《统计与计算反问题》，第160卷（2006年），Springer Science&Business Media [29] 卡尼亚达基斯，G。；凯夫雷基迪斯，I。；卢，L。；佩迪卡里斯，P。；王，S。；Yang，L.，《基于物理的机器学习》，《自然科学评论》。(2021) [30] Kimeldorf，G。；Wahba，G.，关于切比雪夫样条函数的一些结果，J.Math。分析。申请。，33, 82-95 (1971) ·Zbl 0201.39702号 [31] Kimeldorf，G.S。；Wahba，G.，《随机过程贝叶斯估计与样条曲线平滑之间的对应关系》，《数学年鉴》。Stat.，41，495-502（1970）·Zbl 0193.45201号 [32] Krischer，K。；Rico-Martínez，R。；凯夫雷基迪斯，I。；Rotermund，H。；Ertl，G。；Hudson，J.，时空变化催化反应的模型识别，AIChE J.，39，89-98（1993） [33] 拉加里斯，I.E。；利卡斯，A.C。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998) [34] 拉加里斯，I.E。；利卡斯，A.C。；Papageorgiou，D.G.，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络。，11, 1041-1049 (2000) [35] Larkin，F.M.，希尔伯特空间中的高斯测度及其在数值分析中的应用，J.Math。，2 (1972) ·Zbl 0258.65058号 [36] Li，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的傅里叶神经算子（国际学习表征会议（2020）） [37] Li，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；Stuart，A。；巴塔查亚，K。；Anandkumar，A.，参数偏微分方程的多极图神经算子，高级神经信息处理。系统。(2020) [38] Liang，H。；Wu，H.，使用回归模型中测量误差框架的微分方程模型参数估计，美国统计协会，103，1570-1583（2008）·Zbl 1286.62039号 [39] 长，Z。；卢，Y。；马，X。；Dong，B.，PDE-net：从数据中学习PDE，（机器学习国际会议，机器学习国际大会，PMLR（2018）），3208-3216 [40] 米切利，C.A。；Rivlin，T.J.，《最佳采收率调查》（Michelli，C.；Rivlin.，T.J，《近似理论中的最佳估计》（1977），Springer），1-54·Zbl 0386.93045号 [41] 新罕布什尔州内尔森。；Stuart，A.M.，巴拿赫空间之间输入-输出映射的随机特征模型（2020），arXiv预印本 [42] Nocedal，J。；Wright，S.，《数值优化》（2006），Springer Science&Business Media·Zbl 1104.65059号 [43] Owhadi，H.，贝叶斯数值均匀化，多尺度模型。同时。，13, 812-828 (2015) ·兹比尔1322.35002 [44] Owhadi，H.，《分层信息游戏中粗糙系数和多分辨率算子分解的多重网格》，SIAM Rev.，59，99-149（2017）·Zbl 1358.65071号 [45] Owhadi，H.，想法有形状吗？柏拉图的形式理论作为人工神经网络的连续极限（2020），arXiv预印本 [46] 奥哈迪，H。；Scovel，C.，希尔伯特空间上的条件高斯测度，J.Math。统计人员。分析。，1 (2018) [47] 奥哈迪，H。；Scovel，C.，《算子自适应小波、快速解算器和数值均匀化：从博弈论方法到数值逼近和算法设计》（2019），剑桥大学出版社·Zbl 1477.65004号 [48] 奥哈迪，H。；Scovel，C。；Schäfer，F.，统计数值近似，Not。AMS，66，10，1608-1617（2019）·兹伯利07146568 [49] 奥哈迪，H。；Scovel，C。；Yoo，G.R.，《内核模式分解和可编程/可解释回归网络》（2019），arXiv预印本 [50] 奥哈迪，H。；Yoo，G.R.，《内核流：从数据中学习内核到深渊》，J.Compute。物理。，389, 22-47 (2019) ·Zbl 1452.65028号 [51] 奥哈迪，H。；Zhang，L.，打开具有粗糙系数的双曲型和抛物型常微分方程/偏微分方程隐式格式复杂性瓶颈的Gamblets，J.Comput。物理。，347, 99-128 (2017) ·Zbl 1380.65406号 [52] 帕拉斯蒂一世。；Renyi，A.，《内插理论和博弈论》，MTA Mat.Kat.Int.Kozl。，1, 529-540 (1956) [53] 佩林，O。；Monestiez，P.，使用参数径向基变形的非平稳空间结构建模，（GeoENV II-环境应用地球统计（1999），Springer），175-186 [54] Poincaré，H.，概率计算（1896），乔治·卡雷斯 [55] 基诺内罗·坎德拉，J。；Rasmussen，C.E.，稀疏近似高斯过程回归的统一观点，J.Mach。学习。1939-1959年第6号决议（2005年）·Zbl 1222.68282号 [56] Rédulescu，V.D.，《非线性椭圆偏微分方程的定性分析：单调性、解析和变分方法》（2008），Hindawi Publishing Corporation·Zbl 1190.35003号 [57] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，含时和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算。，40，A172-A198（2018）·Zbl 1386.65030号 [58] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [59] 莱斯，M。；亚兹达尼，A。；Karniadakis，G.E.，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，3671026-1030（2020）·Zbl 1478.76057号 [60] J.O.拉姆齐。；胡克，G。；坎贝尔，D。；Cao，J.，微分方程的参数估计：广义平滑方法，J.R.Stat.Soc.，Ser。B、 统计方法。，69, 741-796 (2007) ·Zbl 07555374号 [61] Rico-Martinez，R。；Kevrekidis，I.G.，《非线性系统的连续时间建模：基于神经网络的方法》，（IEEE神经网络国际会议（1993），IEEE），1522-1525 [62] P.D.桑普森。；Guttorp，P.，非平稳空间协方差结构的非参数估计，J.Am.Stat.Assoc.，87108-119（1992） [63] Sard，A.，线性近似（1963），美国数学学会·Zbl 0115.05403号 [64] 沙巴克，R。；Wendland，H.，《核心技术：从机器学习到无网格方法》，《数值学报》。，15, 543 (2006) ·Zbl 1111.65108号 [65] Schäfer，F。；Katzfuss，M。；Owhadi，H.，《通过Kullback-Leibler最小化进行稀疏Cholesky因式分解》，SIAM J.Sci。计算。，43，A2019-A2046（2021）·兹伯利07364386 [66] Schäfer，F。；T·沙利文。；Owhadi，H.，近线性计算复杂性下稠密核矩阵的压缩、反演和近似主成分分析，多尺度模型。同时。，19, 688-730 (2021) ·兹比尔1461.65067 [67] 肖伯，M。；Duvenaud，D。；Hennig，P.，使用Runge-Kutta平均值的概率ODE解算器，（第28届神经信息处理系统年会（2014）），739-747 [68] 肖尔科夫，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化及超越》（2018），麻省理工学院出版社 [69] Shin，Y。；Darbon，J。；Karniadakis，G.E.，《关于物理信息神经网络的收敛和推广》（2020年），arXiv预印本 [70] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号 [71] Skilling，J.，常微分方程的贝叶斯解，（Smith，C.R.；Erickson，G.J.；Neudorfer，P.O.，最大熵和贝叶斯方法（1992），Springer），23-37·Zbl 0828.65078号 [72] Smoller，J.，《冲击波和反应扩散方程》（2012），Springer Science&Business Media [73] Stein，M.L.，《克里金的筛选效应》，《美国统计年鉴》，30，298-323（2002）·Zbl 1012.62102号 [74] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号 [75] Sul'din，A.V.，Wiener测度及其在近似方法中的应用。一、 伊兹夫。维斯什。Učebn。扎韦德。，材料，145-158（1959）·Zbl 0092.05901号 [76] 斯威勒，L.P。；M.古利安。；Frankel，A.L。；萨夫塔，C。；Jakeman，J.D.，《约束高斯过程回归的调查：方法和实施挑战》，J.Mach。学习。模型。计算。，1 (2020) [77] Tadmor，E.，非线性偏微分方程数值方法综述，Bull。美国数学。Soc.，49，507-554（2012）·Zbl 1258.65073号 [78] 特劳布，J.F。；Wasilkowski，G。；沃兹尼亚科夫斯基，H。；Novak，E.，《基于信息的复杂性》，SIAM Rev.，36，514（1994） [79] Traub，J.F。；Wasilkowski，G.W。；Woźniakowski，H.，线性问题的平均情况最优性，Theor。计算。科学。，29, 1-25 (1984) ·Zbl 0543.68029号 [80] 内山，T。；Sonehara，N.，用递归神经网络解决非线性偏微分方程中的逆问题，（IEEE神经网络国际会议（1993）），99-102 [81] 范德米尔，R。；Oosterlee，C。；Borovykh，A.，用神经网络求解偏微分方程的最优加权损失函数（2020），arXiv预印本 [82] 范德法特，A.W。；van Zanten，J.H.，再现高斯先验的核Hilbert空间，（推动当代统计的极限：Jayanta K.Ghosh的贡献（2008），数学统计研究所），200-222·Zbl 1159.62004号 [83] Vecchia，A.V.，《连续空间过程的估计和模型识别》，J.R.Stat.Soc.B，50297-312（1988） [84] Wahba，G.，观测数据的样条模型（1990），SIAM·Zbl 0813.62001号 [85] 王，S。；Wang，H。；Perdikaris，P.，《关于傅里叶特征网络的特征向量偏差：从回归到用物理信息神经网络求解多尺度偏微分方程》，计算。方法应用。机械。工程，384，文章113938 pp.（2021）·兹比尔1506.35130 [86] 王，S。；Yu，X。；Perdikaris，P.，《PINN何时以及为何无法训练：神经切线内核视角》（2020），arXiv预印本 [87] E.渭南。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1-12（2018）·Zbl 1392.35306号 [88] Wendland，H.，《分散数据近似》（2004），剑桥大学出版社 [89] 威廉姆斯，C.K.I。；Rasmussen，C.E.，《机器学习的高斯过程》（2006），麻省理工学院出版社·Zbl 1177.68165号 [90] Wilson，A.G。；胡，Z。；Salakhutdinov，R。；Xing，E.P.，深核学习，（《人工智能与统计》，《人工智能和统计》，PMLR，第51卷（2016年），370-378 [91] 张，X。；宋，K.Z。；卢，M.W。；Liu，X.，基于径向基函数配置的无网格方法，计算。机械。，26, 333-343 (2000) ·Zbl 0986.74079号 [92] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。