尼尔森（Nicholas H.Nelsen）。;安德鲁·斯图尔特（Andrew M.Stuart）。 Banach空间之间输入-输出映射的随机特征模型。 （英语） Zbl 07398767号 SIAM J.科学。计算。 43，编号5，A3212-A3243（2021）. 摘要：机器学习社区众所周知，随机特征模型是对核插值或回归方法的参数近似。它通常用于近似将有限维输入空间映射到实线的函数。在本文中，我们提出了一种方法，将随机特征模型用作将输入Banach空间映射到输出Banach空的操作符的数据驱动代理。虽然该方法相当通用，但我们考虑由偏微分方程（PDE）定义的算子；这里，输入和输出本身就是函数，输入参数是指定问题所需的函数，例如初始数据或系数，输出是问题的解决方案。离散化后，模型从这个无限维观点继承了几个理想的属性，包括相对于真实PDE解映射的网格不变近似误差，以及在一个网格分辨率下训练然后部署到不同网格分辨率的能力。我们将随机特征模型视为非侵入式数据驱动模拟器，为其解释提供了数学框架，并证明其能够高效准确地逼近物理科学和工程应用中出现的两个典型偏微分方程的非线性参数-解映射：粘性Burgers方程和变系数椭圆方程。 引用于21文件 理学硕士： 65日第15天 函数逼近算法 65D40型 高维函数的数值逼近；稀疏网格 62米45 神经网络及从随机过程推断的相关方法 35卢比60 随机偏微分方程的偏微分方程 关键词：随机特征;代理模型;模拟器;解决方案图;高维近似;模型简化;参数PDE;监督学习;数据驱动计算 软件：DeepONet（深度网络）;ElemStatLearn（电子状态学习）;DGM公司;转换PDE-UQ;PDE-网络 PDF格式BibTeX公司 XML格式引用 \textit{N.H.Nelsen}和\textit{A.M.Stuart}，SIAM J.Sci。计算。43，5号，A3212--A3243（2021；Zbl 07398767） 全文： 内政部 arXiv公司 参考文献： [1] B.Adcock、S.Brugiapaglia、N.Dexter和S.Moraga，深度神经网络在从有限数据学习高维Hilbert-值函数方面有效，预印本，arXiv:2012.060812020。 [2] N.Aronszajn，再生核理论，Trans。阿默尔。数学。Soc.，68（1950），第337-404页·Zbl 0037.20701号 [3] F.Bach，《关于核求积规则和随机特征展开之间的等价性》，J.Mach。学习。Res.，18（2017），第714-751页·Zbl 1435.65045号 [4] Y.Bar-Sinai、S.Hoyer、J.Hickey和M.P.Brenner，学习偏微分方程的数据驱动离散化，Proc。国家。阿卡德。科学。美国，116（2019），第15344-15349页·Zbl 1431.65195号 [5] M.Barrault、Y.Maday、N.C.Nguyen和A.T.Patera，“经验插值”方法：应用于偏微分方程的有效降基离散化，C.R.数学。，339（2004），第667-672页·兹比尔1061.65118 [6] A.R.Barron，σ函数叠加的通用近似界，IEEE Trans。通知。《理论》，39（1993），第930-945页·Zbl 0818.68126号 [7] J.Bear和M.Y.Corapcioglu，《多孔介质中运输现象的基本原理》，北约。科学。序列号。82，施普林格，纽约，2012年。 [8] M.Belkin、D.Hsu、S.Ma和S.Mandal，《协调现代机器学习实践和经典偏差-方差权衡》，Proc。国家。阿卡德。科学。美国，116（2019），第15849-15854页·Zbl 1433.68325号 [9] P.Benner、A.Cohen、M.Ohlberger和K.Willcox，《模型简化和近似：理论和算法》，计算。科学。工程15，SIAM，费城，2017年·Zbl 1378.65010号 [10] A.Berlinet和C.Thomas-Agnan，《概率统计中的再生核Hilbert空间》，Springer，纽约，2011年·Zbl 1145.6202号 [11] C.Bernardi和R.Verfuörth，非光滑系数椭圆方程的自适应有限元方法，数值。数学。，85（2000），第579-608页·Zbl 0962.65096号 [12] G.Beylkin和M.J.Mohlenkamp，《高维数值分析算法》，SIAM J.Sci。计算。，26（2005），第2133-2159页·Zbl 1085.65045号 [13] K.Bhattacharya、B.Hosseini、N.B.Kovachki和A.M.Stuart，参数PDE的模型简化和神经网络，预印本，arXiv:2005.031802020·Zbl 1481.65260号 [14] D.Bigoni、Y.Chen、N.G.Trillos、Y.Marzouk和D.Sanz-Alonso，《贝叶斯反演的数据驱动正向离散化》，预印本，arXiv:2003.079912020年·Zbl 1450.62136号 [15] R.Brault、M.Heinonen和F.Buc，算子值核的随机傅里叶特征，《亚洲机器学习会议论文集》，2016年，第110-125页。 [16] Y.Cao和Q.Gu，宽深度神经网络随机梯度下降的广义界，《神经信息处理系统进展》，2019，第10835-10845页。 [17] A.Caponetto和E.De Vito，正则化最小二乘算法的最优速率，Found。计算。数学。，7（2007），第331-368页·Zbl 1129.68058号 [18] C.Carmeli、E.De Vito和A.Toigo，可积函数的向量值再生核Hilbert空间和Mercer定理，Ana。申请。，4（2006年），第377-408页·Zbl 1116.46019号 [19] G.Chen和K.Fidkowski，《基于输出的误差估计和使用卷积神经网络的网格自适应：标量平流扩散问题的应用》，载于《AIAA科学技术2020论坛论文集》，2020年，1143。 [20] T.Chen和H.Chen，具有任意激活函数的神经网络对非线性算子的普遍逼近及其在动力系统中的应用，IEEE Trans。神经网络，6（1995），第911-917页。 [21] M.Cheng、T.Y.Hou、M.Yan和Z.Zhang，《随机系数椭圆偏微分方程的数据驱动随机方法》，SIAM/ASA J.不确定性。量化。，1（2013年），第452-493页·Zbl 1290.60068号 [22] A.Chkifa、A.Cohen、R.DeVore和C.Schwab，参数和随机椭圆偏微分方程的稀疏自适应泰勒近似算法，ESAIM Mathe。模型。数字。分析。，47（2013），第253-280页·Zbl 1273.65009号 [23] A.Cohen和R.DeVore，高维参数偏微分方程的近似，Acta Numer。，24（2015），第1-159页·兹比尔132065016 [24] A.Cohen和G.Migliorati，最优加权最小二乘法，预印本，arXiv:1608.00512016·Zbl 1416.62177号 [25] S.L.Cotter、G.O.Roberts、A.M.Stuart和D.White，《函数的Mcmc方法：修改旧算法使其更快》，Statist。科学。，28（2013），第424-446页·Zbl 1331.62132号 [26] F.Cucker和S.Smale，《学习的数学基础》，布尔。阿默尔。数学。Soc.，39（2002），第1-49页·Zbl 0983.68162号 [27] M.Dashti和A.M.Stuart，反问题的贝叶斯方法，《不确定性量化手册》，纽约斯普林格，2017年，第311-428页，https://doi.org/10.1007/978-3-319-12385-1_7。 [28] L.Demanet，《曲线、波原子和波方程》，加州理工学院博士论文，2006年。 [29] R.A.DeVore，简化基方法的理论基础，摘自《模型简化和近似：理论和算法》，SIAM，费城，2014年，第137-168页。 [30] A.Doostan和G.Iacarino，高维随机输入偏微分方程的最小二乘近似，J.Compute。物理。，228（2009），第4332-4345页·Zbl 1167.65322号 [31] M.M.Dunlop、M.A.Iglesias和A.M.Stuart，层次贝叶斯水平集反演，统计学。计算。，27（2017），第1555-1584页·Zbl 1384.62084号 [32] L.C.Evans，偏微分方程，梯度。序列号。数学。19，AMS，普罗维登斯，RI，2010年·Zbl 1194.35001号 [33] Y.Fan和L.Ying，用深度学习解决电阻抗断层成像，J.Compute。物理。，404（2020），第109-119页·兹比尔1453.65041 [34] J.Feliu-Faba、Y.Fan和L.Ying，深度神经网络元学习伪微分算子，J.Compute。物理。，408 (2020), 109309. ·Zbl 07505630号 [35] B.Fornberg，《伪谱方法实用指南》，第1卷，剑桥大学出版社，英国剑桥，1998年·Zbl 0912.65091号 [36] H.Gao、J.-X.Wang和M.J.Zahr，《利用深度学习对大尺度非线性动力系统进行非侵入性模型简化》，预印本，arXiv:1911.038082019年。 [37] M.Geist、P.Petersen、M.Raslan、R.Schneider和G.Kutyniok，深度神经网络参数扩散方程的数值解，预印本，arXiv:2004.121312020·Zbl 1473.35331号 [38] D.Gilbarg和N.S.Trudinger，二阶椭圆偏微分方程，Springer，纽约，2015年·Zbl 1042.35002号 [39] R.Gonzalez-Garcia、R.Rico Martinez和I.Kevrekidis，分布式参数系统的识别：基于神经网络的方法，计算机化学工程，22（1998），第S965-S968页。 [40] M.Griebel和C.Rieger，参数偏微分方程的再生核Hilbert空间，SIAM/ASA J.不确定性。量化。，5（2017），第111-137页·Zbl 1371.35345号 [41] E.Haber和L.Ruthotto，深度神经网络的稳定架构，逆向问题，34（2017），014004·Zbl 1426.68236号 [42] T.Hastie、R.Tibshirani和J.Friedman，《统计学习的要素：数据挖掘、推断和预测》，纽约斯普林格出版社，2009年·Zbl 1273.62005年 [43] J.S.Hesthaven和S.Ubbiali，使用神经网络对非线性问题进行非侵入式降阶建模，J.Computat。物理。，363（2018），第55-78页·Zbl 1398.65330号 [44] M.Hinze、R.Pinnau、M.Ulbrich和S.Ulbich，《PDE约束优化》，数学。模型。理论应用。23，施普林格，纽约，2008年·Zbl 1167.49001号 [45] A.Jacot、F.Gabriel和C.Hongler，《神经切线核：神经网络中的收敛和泛化》，《神经信息处理系统进展》，2018年，第8571-8580页。 [46] H.Kadri、E.Duflos、P.Preux、S.Canu、A.Rakotomamonjy和J.Audiffren，《从功能响应数据学习的算子值核》，J.Mach。学习。第17号决议（2016年），第613-666页·Zbl 1360.68682号 [47] A.-K.Kassam和L.N.Trefethen，刚性PDE的四阶时间步进，SIAM J.Sci。计算。，26（2005），第1214-1233页·Zbl 1077.65105号 [48] R.Kempf、H.Wendland和C.Rieger，参数偏微分方程的基于核的重构，《偏微分方程无网格方法国际研讨会》，Springer，纽约，2017年，第53-71页·Zbl 1434.65261号 [49] Y.Khoo、J.Lu和L.Ying，用人工神经网络解决参数PDF问题，预印本，arXiv:1707.033512017年。 [50] A.Kiselev、F.Nazarov和R.Shterenberg，分形Burgers方程的放大和正则性，预印本，arXiv:0804.35492008·Zbl 1186.35020号 [51] Y.Korolev，Banach空间中具有值的双层神经网络，预印本，arXiv:2105.20952021。 [52] G.Kutyniok、P.Petersen、M.Raslan和R.Schneider，深度神经网络和参数PDE的理论分析，预印本，arXiv:1904.003772019年。 [53] K.Lee和K.T.Carlberg，使用深度卷积自编码器对非线性流形上动力系统的模型简化，J.Compute。物理。，404（2020），第108973页·Zbl 1454.65184号 [54] 李毅，卢建军，毛建军，物理模型解图的神经网络逼近的变分训练，计算机学报。物理。，409 (2020), 109338. ·Zbl 1435.68292号 [55] Z.Li、N.Kovachki、K.Azizzadenesheli、B.Liu、K.Bhattacharya、A.Stuart和A.Anandkumar，参数偏微分方程的傅里叶神经算子，预印本，arXiv:2010.088952020。 [56] Z.Li、N.Kovachki、K.Azizzadenesheli、B.Liu、K.Bhattacharya、A.Stuart和A.Anandkumar，《神经算子：偏微分方程的图核网络》，预印本，arXiv:2003.034852020。 [57] Z.Long、Y.Lu、X.Ma和B.Dong，《PDE-Net:从数据中学习PDE》，预印本，arXiv:1710.096682017年。 [58] L.Lu，P.Jin和G.E.Karniadakis，DeepONet：基于算子的通用逼近定理学习非线性算子识别微分方程，预印本，arXiv:1910.031932019。 [59] D.G.Luenberger，向量空间方法优化，John Wiley&Sons，纽约，1997年。 [60] C.Ma，L.Wu，E.Weinan，《从连续观点进行机器学习》，预印本，arXiv:1912.127772019年·Zbl 1472.68136号 [61] C.Ma，L.Wu，E.Weinan，《关于超参数神经网络模型最小范数解的泛化性质》，预印本，arXiv:1912.069872019年。 [62] B.Mateírn，空间变化，统计课堂讲稿。36，施普林格，查姆，2013年·Zbl 0608.62122号 [63] C.A.Michelli和M.Pontil，关于学习向量值函数，神经计算。，17（2005），第177-204页·Zbl 1092.93045号 [64] R.M.Neal，《无限网络的先验》，载于《神经网络的贝叶斯学习》，Springer，纽约，1996年，第29-53页·Zbl 0888.62021号 [65] T.O’Leary-Roseberry、U.Villa、P.Chen和O.Ghattas，PDE控制的高维参数映射的衍生信息投影神经网络，预印本，arXiv:2011.51102020。 [66] J.A.Opschoor、C.Schwab和J.Zech，《高维深度学习：贝叶斯PDE反演的ReLU网络表达率》，SAM研究报告2020-47，ETH，Zuörich，2020年。 [67] R.G.Patel和O.Desjardins，《神经网络非线性积分微分算子回归》，预印本，arXiv:1810.085522018年。 [68] R.G.Patel、N.A.Trask、M.A.Wood和E.C.Cyr，《提取数据驱动连续统模型的物理信息操作员回归框架》，预印本，arXiv:2009.11992200年·Zbl 1506.62383号 [69] B.Peherstorfer、K.Willcox和M.Gunzburger，《不确定性传播、推理和优化中的多元方法综述》，SIAM Rev.，60（2018），第550-591页·Zbl 1458.65003号 [70] A.Rahimi和B.Recht，大型内核机器的随机特征，《神经信息处理系统的进展》，2008年，第1177-1184页。 [71] A.Rahimi和B.Recht，随机基函数的统一逼近，《第46届Allerton通信、控制和计算年会论文集》，IEEE，2008年，第555-561页。 [72] A.Rahimi和B.Recht，《随机厨房水槽的加权和：用学习中的随机化代替最小化》，《神经信息处理系统的进展》，第21期，2008年，第1313-1320页。 [73] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·兹比尔1415.68175 [74] R.Rico-Martinez、K.Krischer、I.Kevrekidis、M.Kube和J.Hudson，铜电解溶解数据的离散与连续非线性信号处理，化学工程通讯，118（1992），第25-48页。 [75] F.Rossi和B.Conan-Guez，《功能多层感知器：功能数据分析的非线性工具》，《神经网络》，18（2005），第45-60页·Zbl 1085.68134号 [76] L.Ruthotto和E.Haber，偏微分方程驱动的深层神经网络，J.Math。《成像视觉》（2019年），第1-13页·Zbl 1434.68522号 [77] N.D.Santo、S.Deparis和L.Pegolotti，《基于约化基和神经网络的参数化偏微分方程的数据驱动近似》，预印本，arXiv:1904.015142019年·Zbl 1437.65224号 [78] C.Schwab和J.Zech，《高维深度学习：UQ中广义多项式混沌展开的神经网络表达率》，Anal。申请。，17（2019），第19-55页·Zbl 1478.68309号 [79] J.Sirignano和K.Spiliopoulos，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375（2018），第1339-1364页·Zbl 1416.65394号 [80] P.D.Spanos和R.Ghanem，随机介质的随机有限元展开，《工程力学杂志》，115（1989），第1035-1053页。 [81] B.Stevens和T.Colonius，《FiniteNet:时间相关偏微分方程的全卷积LSTM网络架构》，预印本，arXiv:2002.030142020。 [82] Y.Sun、A.Gilbert和A.Tewari，《关于随机ReLU特征的近似性质》，预印本，arXiv:1810.043742019年。 [83] N.Trask、R.G.Patel、B.J.Gross和P.J.Atzberger，《GMLS-Nets:从非结构化数据中学习的框架》，预印本，arXiv:1909.053712019年。 [84] R.K.Tripathy和I.Bilionis，深度UQ：用于高维不确定性量化的学习深度神经网络代理模型，J.Comput。物理。，375（2018），第565-588页·Zbl 1419.68084号 [85] E.渭南，关于通过动态系统进行机器学习的提案，Commun。数学。《统计》，第5卷（2017年），第1-11页·Zbl 1380.37154号 [86] E.Weinan、J.Han和Q.Li，《深度学习的平均场最优控制公式》，《数学研究》。科学。，6 (2019), 10. ·Zbl 1421.49021号 [87] E.Weinan和B.Yu，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。《法律总汇》，6（2018），第1-12页·Zbl 1392.35306号 [88] H.Wendland，分散数据近似，剑桥，Monogr。申请。计算。数学。17，剑桥大学出版社，英国剑桥，2004年·兹比尔1185.65022 [89] C.K.Williams，《无限网络计算》，《神经信息处理系统进展》，1997年，第295-301页。 [90] C.K.Williams和C.E.Rasmussen，《机器学习的高斯过程》，第2卷，麻省理工学院出版社，马萨诸塞州剑桥，2006年·Zbl 1177.68165号 [91] N.Winovich，K.Ramani和G.Lin，ConvPDE-UQ：不同区域上非齐次椭圆偏微分方程的量化不确定性卷积神经网络，J.Compute。物理。，394（2019），第263-279页·Zbl 1457.65245号 [92] K.Wu和D.Xiu，模态空间中偏微分方程的数据驱动深度学习，J.Compute。物理。，408 (2020), 109307. ·Zbl 07505629号 [93] Y.Zhu和N.Zabaras，代理建模和不确定性量化的贝叶斯深度卷积编解码网络，J.Compute。物理。，366（2018），第415-447页·Zbl 1407.62091号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。