×
马丁·艾格尔;施耐德、莱因霍尔德;菲利普·特伦施克;塞巴斯蒂安·沃尔夫

变分蒙特卡罗–机器学习和高维偏微分方程的桥接概念。 （英语） Zbl 1435.68258号

高级计算。数学。 45，第5-6号，2503-2532（2019）。
总结：导出了与不确定性量化相关的高维参数偏微分方程的统计学习方法。该方法基于所选模型类的经验风险最小化，并被证明适用于广泛的问题。考虑到近似和统计误差，导出了一个通用的统一收敛分析。由此，获得了数值分析和统计学的理论结果。数值实验表明，该方法具有层次张量模型类。

引用于10文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
15A69号 多线性代数，张量演算
35卢比60 随机偏微分方程的偏微分方程
62J02型 一般非线性回归
65二氧化碳 蒙特卡罗方法
65日第15天 函数逼近算法
65N22型 含偏微分方程边值问题离散方程的数值解
65纳米30 含偏微分方程边值问题的有限元、Rayleigh-Ritz和Galerkin方法

关键词：

机器学习;不确定性量化;偏微分方程;统计学习;树张量网络

软件：

PRMLT公司;干燥;深XDE;ALEA公司;FEniCS公司;维加斯
PDF格式BibTeX公司 XML格式引用
\textit{M.Eigel}等人，高级计算。数学。45，编号5--6，2503--2532（2019；Zbl 1435.68258）
全文： 内政部 arXiv公司

参考文献：

[1] 巴赫迈尔，马库斯；施耐德（Schneider）、雷因霍尔德（Reinhold）；Uschmajew，André，高维偏微分方程解的张量网络和层次张量，计算数学基础，16，6，1423-1472（2016）·Zbl 1357.65153号
[2] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。http://www.deeplearningbook.org。麻省理工学院出版社（2016）·Zbl 1373.68009号
[3] Ceperley，D。；切斯特，G.V。；Kalos，M.H.，一项多人研究的蒙特卡罗模拟，《物理评论》B，16，7，3081-3099（1977）
[4] 主，Gj；Powell，Ce；Shardlow，T.，《计算随机偏微分方程导论》。剑桥应用数学教材，xii+503 xii+503（2014），纽约：剑桥大学出版社，纽约·兹比尔1327.60011
[5] 史密斯，R.C.：不确定性量化：理论、实施和应用。第12卷，暹罗（2013）
[6] 施瓦布，C。；Gittelson，Cj，高维参数和随机PDE的稀疏张量离散化，Acta Numer。，20, 291-467 (2011) ·Zbl 1269.65010号
[7] Le Maitre，O.，Knio，O.M.：不确定性量化的光谱方法：应用于计算流体动力学。施普林格科技与商业媒体（2010）·Zbl 1193.76003号
[8] 赫尔曼·G·马蒂斯。；Keese，Andreas，Galerkin线性和非线性椭圆随机偏微分方程方法，应用力学和工程中的计算机方法，194，12-16，1295-1331（2005）·兹比尔1088.65002
[9] Deb，Manas K。；伊沃·M·巴布什卡。；Oden，J.Tinsley，使用Galerkin有限元技术求解随机偏微分方程，应用力学和工程中的计算机方法，190，48，6359-6372（2001）·Zbl 1075.65006号
[10] Ghanem，Rg；Spanos，Pd，《随机有限元：谱方法》，x+214-x+214（1991），纽约：Springer，纽约·兹比尔0722.73080
[11] Friedman，J.、Hastie，T.、Tibshirani，R.：统计学习的要素。第1卷。10.统计学中的斯普林格系列。美国纽约州纽约市（2001年）·Zbl 0973.62007号
[12] Cohen，A.，Davenport，M.A.，Leviatan，D.：关于最小二乘近似的稳定性和准确性（2011）·Zbl 1276.93086号
[13] Cohen，A.，Migliorati，G.：最优加权最小二乘法（2016）·Zbl 1416.62177号
[14] Lepage，G.P.：拉斯维加斯——一个适应性多维集成项目
[15] Ohl，T.：拉斯维加斯重温：超越因式分解的自适应蒙特卡罗集成。arXiv预打印arXiv:9806432（1998）·Zbl 1001.65002号
[16] Giraldi，L。；刘，D。；Matthies，汞柱；Nouy，A.，是入侵还是不入侵？参数方程和随机方程的解？适当广义分解，SIAM J.Sci。计算。，37、1、A347-A368（2015）·Zbl 1315.65056号
[17] 科恩，A。；Devore，R。；Schwab，C.，参数和随机椭圆偏微分方程的解析正则性和多项式逼近，Ana。申请。（新加坡），9，1，11-47（2011）·Zbl 1219.35379号
[18] 科恩，A。；Devore，R。；Schwab，C.，发现了一类椭圆sPDE的最佳N项Galerkin近似的收敛速度。计算。数学。，10, 6, 615-646 (2010) ·Zbl 1206.60064号
[19] 科恩，A。；Devore，R。；Schwab，C.，参数和随机椭圆偏微分方程的解析正则性和多项式逼近，Ana。申请。（新加坡），9，1，11-47（2011）·Zbl 1219.35379号
[20] 科恩，A。；Devore，R.，高维参数偏微分方程的近似，数值学报。，24, 1-159 (2015) ·Zbl 1320.65016号
[21] Bachmayr，M.，Cohen，A.，Dahmen，W.：参数偏微分方程：稀疏或低阶近似？。arXiv预印arXiv:1607.04444（2016）·Zbl 1477.65189号
[22] Raissi，M.，Perdikaris，P.，Karniadakis，G.E.：物理知识指导的深度学习（第一部分）：非线性偏微分方程的数据驱动解。在：arXiv预印本arXiv:1711.10561（2017）·Zbl 1382.65229号
[23] Raissi，M.，Perdikaris，P.，Karniadakis，G.E.：物理学为深度学习提供了信息（第二部分）：非线性偏微分方程的数据驱动发现。收信人：arXiv预印本arXiv:1711.10566（2017）·Zbl 1380.68339号
[24] Lu，L.，Meng，X.，Mao，Z.，Karniadakis，G.E.：DeepXDE：解微分方程的深度学习库。收信人：arXiv预印本arXiv:1907.04502（2019）·Zbl 1459.65002号
[25] Vapnik，V.：统计学习理论的本质。施普林格科学与商业媒体（2013）·Zbl 0934.62009号
[26] Chervonenkis，A。；Vapnik，V.，事件频率一致收敛到其概率的理论，以及从经验数据中寻找最佳解决方案的问题（基于经验数据的平均风险最小化，显示问题与平均值一致收敛到期望值的关系），Autom。远程。控制。，32, 207-217 (1971) ·Zbl 0249.62031号
[27] Vapnik，Vn；Chervonenkis，Ay，均值一致收敛于期望的充要条件，概率论及其应用，26，3，532-553（1982）·Zbl 0487.60036号
[28] Valiant，Lg，可学习理论，Commun。ACM，27，11，1134-1142（1984）·Zbl 0587.68077号
[29] Haussler，D.，神经网络和其他学习应用的PAC模型的决策理论推广，信息计算。，100, 1, 78-150 (1992) ·Zbl 0762.68050号
[30] 安东尼，M。；Bartlett，Pl，《神经网络学习：理论基础》（2009），剑桥：剑桥大学出版社，剑桥
[31] Shalev-Shwartz，S.，在线学习和在线凸优化，机器学习的基础和趋势，4，2，107-194（2011）·Zbl 1253.68190号
[32] Cucker，F。；Smale，S.，《学习的数学基础》，布尔。阿默尔。数学。《社会学杂志》，39，1，1-50（2001）
[33] Cucker，F。；Zhou，Dx，学习理论：一种近似理论观点。剑桥应用和计算数学专著（2007），剑桥：剑桥大学出版社，剑桥·Zbl 1274.41001号
[34] Pinkus，A.，n-近似理论中的宽度（1985），柏林：施普林格出版社，柏林·Zbl 0551.41001号
[35] Bohn，B。；Griebel，M.，离散函数空间上多元回归的误差估计，SIAM J.Numer。分析。，55, 4, 1843-1866 (2017) ·Zbl 1403.62058号
[36] Berner，J.，Grohs，P.，Jentzen，A.：泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难。收信人：arXiv预印本arXiv:1809.03062（2018）·Zbl 1480.60191号
[37] Schölkopf，B。；Smola，Aj，《使用内核学习：支持向量机、正则化、优化和超越》（2002），剑桥：麻省理工学院出版社，剑桥
[38] Cohen，N.，Shashua，A.：卷积整流器网络作为广义张量分解（2016）
[39] Bishop，Cm，模式识别和机器学习（2006），柏林：施普林格，柏林·Zbl 1107.68072号
[40] 詹姆斯·G。；维滕，D。；哈斯蒂，T。；Tibshirani，R.，《统计学习导论》。第112卷（2013），柏林：施普林格，柏林·Zbl 1281.62147号
[41] Brenner，S.，Scott，R.：有限元方法的数学理论。第15卷。Springer科学与商业媒体（2007）
[42] Braess，D.，《有限元：理论、快速求解器和固体力学应用》（2007），剑桥：剑桥大学出版社，剑桥·Zbl 1118.65117号
[43] Temlyakov，V.，学习理论中的近似，Constr。约27,133-74（2008年）·Zbl 05264756号
[44] Bölcskei，H.，Grohs，P.，Kutyniok，G.，Petersen，P.：稀疏连接深层神经网络的最佳逼近。CoRR arXiv:1705.01714（2017）·兹比尔1499.41029
[45] Henry-Laborder，P.：（鞅）最优运输和神经网络异常检测：一种原始-对偶算法。收件人：arXiv电子打印arXiv:1904.04546（2019）
[46] Han，J。；Jentzen，A。；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号
[47] E.渭南。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，数学与统计通讯，6，1-12（2018）·Zbl 1392.35306号
[48] Jentzen，A.，Salimova，D.，Welti，T.：深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明。在：arXiv电子打印arXiv：1809.07321（2018）·Zbl 1475.65157号
[49] Hutzenthaler，M.，Jentzen，A.，Kruse，T.，Nguyen，T.A.：证明校正的深层神经网络在半线性热方程的数值近似中克服了维数灾难。收件人：arXiv电子打印arXiv:1901.10854（2019）·Zbl 1455.65200元
[50] Grohs，P.，Hornung，F.，Jentzen，A.，von Wursemberger，P.：证明人工神经网络在Black-Scholes偏微分方程的数值逼近中克服了维数灾难。收件人：arXiv电子打印arXiv:1809.02362（2018）·Zbl 07679303号
[51] Macdonald，J.L.：基于小波和Shearlet散射变换的图像分类。硕士论文。柏林理工大学（2017）
[52] Rauhut，H。；Schneider，R.公司。；内华达州斯托亚纳克。，通过迭代硬阈值恢复低秩张量，线性代数应用。，523, 220-262 (2017) ·Zbl 1372.65130号
[53] Golowich，N.、Rakhlin，A.、Shamir，O.：神经网络的尺寸依赖样本复杂性。收信人：arXiv预印本arXiv:1712.06541（2017）·Zbl 1528.68354号
[54] Barron，A.R.，Klusowski，J.M.：高维深度学习网络的近似和估计。收信人：arXiv预印本arXiv:1809.03090（2018）
[55] 艾格尔，M。；吉特尔森，Cj；施瓦布，C。；Zander，E.，自适应随机Galerkin FEM，计算。方法应用。机械。工程，270，247-269（2014）·Zbl 1296.65157号
[56] 艾格尔，M。；Gittelson，Cj；施瓦布，C。；Zander，E.，带准最优空间网格的收敛自适应随机Galerkin有限元方法，ESAIM:数学建模和数值分析，49，5，1367-1398（2015）·Zbl 1335.65006号
[57] 艾格尔，M。；Pfeffer，M。；Schneider，R.，具有层次张量表示的自适应随机Galerkin FEM，Numerische Mathematik，136，3，765-803（2017）·Zbl 1397.65262号
[58] Eigel，M.、Marschall，M.，Pfeffer，M.和Schneider，R.：分层张量表示中对数正态系数的自适应随机Galerkin FEM（2018）·Zbl 1439.65160号
[59] 贝斯帕洛夫，A。；Powell，Ce；Silvester，D.，参数算子方程的能量范数后验误差估计，SIAM J.Sci。计算。，36、2、A339-A363（2014）·Zbl 1294.35199号
[60] Eigel，M.，Merdon，C.：自适应随机高阶Galerkin FEM中保证误差控制的局部均衡误差估计。WIAS预印本1997（2014）·Zbl 1398.65297号
[61] 巴布什卡，I。；Nobile，F。；Tempone，R.，具有随机输入数据的椭圆偏微分方程的随机配置方法，SIAM J.Numer。分析。，45, 3, 1005-1034 (2007) ·Zbl 1151.65008号
[62] Nobile，F。；丹蓬，R。；Webster，Cg，带随机输入数据的偏微分方程的各向异性稀疏网格随机配置方法，SIAM J.Numer。分析。，46, 5, 2411-2442 (2008) ·Zbl 1176.65007号
[63] Oseledets，I.，张量-应变分解，SIAM J.Sci。计算。，33, 5, 2295-2317 (2011) ·Zbl 1232.15018号
[64] Hackbusch，W。；Kühn，S.，张量表示的一种新格式。英国，J.Fourier Ana。应用。，15, 5, 706-722 (2009) ·Zbl 1188.15022号
[65] Hackbusch，W.：张量空间和数值张量微积分。第42卷。施普林格科技与商业媒体（2012）·Zbl 1244.65061号
[66] Eigel，M.，Neumann，J.，Schneider，R.，Wolf，S.：高维随机偏微分方程的非侵入张量重建·Zbl 1419.35259号
[67] 黄，Vh；Schwab，C.，对数正态高斯随机输入椭圆偏微分方程的N项Wiener混沌逼近率，数学。模型方法应用。科学。，24, 4, 797-826 (2014) ·Zbl 1294.65010号
[68] Øksendal，B.：随机微分方程。In：随机微分方程。Springer，第65-84页（2003年）·Zbl 1025.60026号
[69] Pavliotis，G.A.：随机过程和应用：扩散过程，福克-普朗克方程和朗之万方程。第60卷。斯普林格（2014）·Zbl 1318.60003号
[70] Beck，C.，Becker，S.，Grohs，P.，Jaafari，N.，Jentzen，A.：通过深度学习解决随机微分方程和Kolmogorov方程。在：arXiv预印本arXiv:1806.00421（2018）·Zbl 1490.65006号
[71] FEniCS项目：用有限元法自动求解微分方程。fenicsproject.org
[72] Huber，B.，Wolf，S.：Xerus：通用张量库。libxerus.org网站
[73] Eigel，M.、Gruhlke，R.、Marschall，M.，Trunschke，P.、Zander，E.：ALEA——不确定性量化中谱方法和低阶近似的python框架
[74] Nouy，A.，《高维近似和模型降阶的Low-rank方法》，《模型降阶和近似：理论和算法》，第15期，第171页（2017年）
[75] Arras，B.，Bachmayr，M.，Cohen，A.：分层空间中最优加权最小二乘近似的顺序采样。收信人：arXiv预印本arXiv:1805.10801（2018）·Zbl 1499.41010号
[76] Ciarlet，P.G.，Kesavan，S.，Ranjan，A.，Vanninathan，M.：有限元方法讲座。第49卷。孟买塔塔基础研究所（1975年）·Zbl 0353.73067号
[77] 普洛什多夫，S。；Silbermann，B.，积分和相关算子方程的数值分析，算子理论，52，5-534（1991）·Zbl 0763.65103号
[78] Ern，A.，Guermond，J.-L.：有限元理论与实践。第159卷。施普林格科学与商业媒体（2013）
[79] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。收录：Burges，C.J.C.、Bottou，L.、Welling，M.、Ghahramani，Z.、Weinberger，K.Q.（编辑）《神经信息处理系统进展》26。Curran Associates，Inc.，第315-323页（2013年）
[80] Babanezhad，R.，Ahmed，M.O.，Virani，A.，Schmidt，M.，Konečn，J.，Sallinen，S.：停止浪费我的梯度：实用SVRG（2015）
[81] Zhang，S.、Choromanska，A.、LeCun，Y.：弹性平均深度学习（2014）
[82] Mokhtari，A.，Ribeiro，A.：降低经验风险最小化复杂性的一阶自适应样本大小方法（2017）
[83] Daneshmand，H.、Lucchi，A.、Hofmann，T.：从小处做起——使用自适应样本大小学习（2016）
[84] 艾格尔，M。；默登，C。；Neumann，J.，具有不确定数据感兴趣量随机边界的自适应多级蒙特卡罗方法，SIAM/ASA不确定性量化杂志，4，1219-1245（2016）·Zbl 1398.35306号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。