×
莫里茨·盖斯特；菲利普·彼得森；莫内斯·拉斯兰；施耐德、莱因霍尔德；吉塔·库蒂尼奥克

用深度神经网络数值求解参数扩散方程。 （英语） Zbl 1473.35331号

科学杂志。计算。 88，第1号，第22号论文，37页（2021年）.
摘要：我们在数值分析的背景下，对神经网络的近似理论结果对实际学习问题的影响进行了全面的数值研究。作为底层模型，我们研究了基于机器学习的参数偏微分方程解。这里，全连接神经网络的近似理论预测，模型的性能只应非常轻微地依赖于参数空间的维数，并由参数偏微分方程解流形的固有维数决定。我们使用各种方法，通过最小化测试用例的选择对学习问题的优化和抽样方面的影响，建立测试用例之间的可比性。我们发现近似理论效应在很大程度上影响数值分析中学习问题的实际行为这一假设得到了有力的支持。谈到更成功的现代架构，在本研究的最后，我们通过关注卷积神经网络，得出了改进的误差界。

引用于20文件

MSC公司：

35J99型 椭圆方程和椭圆系统
第41页第25页 收敛速度，近似度
41A30型 其他特殊函数类的近似
68T05型 人工智能中的学习和自适应系统
65N30型 含偏微分方程边值问题的有限元、Rayleigh-Ritz和Galerkin方法

关键词：

神经网络；参数扩散方程；数值近似；神经网络容量

软件：

FEniCS公司；亚当；DGM公司；SchNet公司；TensorFlow公司；红色工具箱；深XDE
PDF格式BibTeX公司 XML格式引用
\textit{M.Geist}等人，《科学杂志》。计算。88，第1号，第22号论文，37页（2021年；Zbl 1473.35331）
全文： 内政部 arXiv公司

参考文献：

[1] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.版本，I.、Talwar，K.、Tucker，P.、Vanhoucke，V.、Vasudevan，V.，Viégas，F.、Vinyals，O.、Warden，P.，Wattenberg，M.、Wicke，M..、Yu，Y.、Zheng，X.：张力流：异构系统上的大规模机器学习（2015）。软件可从tensorflow.org获得
[2] Adcock，B.，Brugiapaglia，S.，Dexter，N.，Moraga，S.：深度神经网络可以有效地从有限的数据中学习高维Hilbert值函数。arXiv预印arXiv:2012.06081（2020）
[3] Adcock，B.，Dexter，N.：深度神经网络函数逼近理论与实践之间的差距。arXiv预印arXiv:2001.07523（2020）
[4] Alns，M.s.，Blechta，J.，Hake，J.、Johansson，A.、Kehlet，B.、Logg，A.、Richardson，C.、Ring，J.和Rognes，M.E.、Wells，G.N.：FEniCS项目1.5版。架构（architecture）。数字。柔和。3(100) (2015)
[5] 巴赫迈尔，M。；Cohen，A.，Kolmogorov宽度和参数椭圆偏微分方程的低阶近似，数学。计算。，86, 304, 701-724 (2017) ·Zbl 1358.65072号 ·doi:10.1090/com/3132
[6] 巴赫迈尔，M。；科恩，A。；Dahmen，W.，《参数偏微分方程：稀疏或低秩近似？》？，IMA J.数字。分析。，38, 4, 1661-1708 (2018) ·Zbl 1477.65189号 ·doi:10.1093/imanum/drx052
[7] Barron，A.，S形函数叠加的普遍逼近界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号 ·doi:10.1109/18.256500
[8] Beck，C.，Becker，S.，Grohs，P.，Jaafari，N.，Jentzen，A.：通过深度学习解决随机微分方程和Kolmogorov方程。arXiv预印arXiv:1806.00421（2018）
[9] 贝克，C。；E.渭南。；Jentzen，A.，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，J.非线性科学。，29, 1563-1619 (2019) ·Zbl 1442.91116号 ·doi:10.1007/s00332-018-9525-3
[10] Bellman，R.，《动态规划理论》，Proc。国家。阿卡德。科学。美国，38，8，716（1952）·Zbl 0047.13802号 ·doi:10.1073/pnas.38.8.716
[11] 伯格，J。；Nyström，K.，复杂数据集中PDE的数据驱动发现，J.Compute。物理。，384239-252（2019）·Zbl 1451.68239号 ·doi:10.1016/j.jcp.2019.01.036
[12] Berner，J.，Grohs，P.，Jentzen，A.：泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难。arXiv预印本arXiv:1809.03062（2018）
[13] Bhattacharya，K.，Hosseini，B.，Kovachki，N.B.，Stuart，A.M.：参数PDE的模型简化和神经网络。arXiv预输入rXiv:2005.03180（2020）
[14] Bölcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，PC，稀疏连接深层神经网络的最佳逼近，SIAM J.Math。数据科学。，1, 8-45 (2019) ·Zbl 1499.41029号 ·doi:10.1137/18M118709X
[15] Brevis，I.、Muga，I.和van der Zee，K.G.：数据驱动的有限元方法：面向目标计算的机器学习加速。arXiv预打印arXiv:2003.04485（2020）
[16] 科恩，A。；DeVore，R.，高维参数偏微分方程的近似，Acta Numer。，24, 1-159 (2015) ·Zbl 1320.65016号 ·网址：10.1017/S096249291500003
[17] Cucker，F。；Smale，S.，《学习的数学基础》，布尔。美国数学。Soc.，39，1-49（2002）·Zbl 0983.68162号 ·doi:10.1090/S0273-0979-01-00923-5
[18] Cucker，F.，Zhou，D.-X.：《学习理论：近似理论观点》，剑桥应用数学和计算数学专著。剑桥大学出版社（2007）·Zbl 1274.41001号
[19] Dal Santo，N.、Deparis，S.、Pegolotti，L.：通过简化基础和神经网络对参数化PDE进行数据驱动近似。arXiv预印arXiv:1904.01514（2019）·Zbl 1437.65224号
[20] 艾格尔，M。；施耐德，R。；特朗施克，P。；Wolf，S.，《机器学习和高维偏微分方程的变分蒙特卡罗桥接概念》，高级计算。数学。，45, 2503-2532 (2019) ·Zbl 1435.68258号 ·doi:10.1007/s10444-019-09723-8
[21] Elbrächter，D.，Grohs，P.，Jentzen，A.，Schwab，C.：高维PDE的DNN表达率分析：应用于期权定价。arXiv预印arXiv:1809.07669（2018）
[22] Faber，FA；Hutchison，L。；黄，B。；Gilmer，J。；肖恩霍尔茨，SS；Dahl，通用电气；葡萄酒，O。；科尔内斯，S。；莱利，PF；von Lilienfeld，OA，分子机器学习模型的预测误差低于混合DFT误差，J.Chem。理论计算。，13, 11, 5255-5264 (2017) ·doi:10.1021/acs.jctc.7b00577
[23] Fokina，D.，Oseledets，I.：轴突生长：神经网络贪婪学习与函数逼近应用。arXiv预印arXiv:1910.12686（2019）
[24] Grohs，P.，Hornung，F.，Jentzen，A.，von Wursemberger，P.：证明人工神经网络在Black-Scholes偏微分方程的数值逼近中克服了维数灾难。arXiv预印arXiv:1809.02362（2018）
[25] Han，J.，Jentzen，A.，Weinan，E.：克服维数灾难：使用深度学习解决高维偏微分方程。arXiv预印arXiv:1707.02568（2017）
[26] Han，J。；詹岑，A。；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，115、34、8505-8510（2018）·Zbl 1416.35137号 ·doi:10.1073/pnas.1718942115
[27] Han，J.，Nica，M.，Stinchcombe，A.R.：用深度神经网络求解椭圆偏微分方程的无导数方法。arXiv预打印arXiv:2001.06145（2020）
[28] 赫尔曼，J。；佐治亚州Schätzle。；Noé，F.，电子薛定谔方程的深度神经网络解，自然化学。，12, 10, 891-897 (2020) ·doi:10.1038/s41557-020-0544-y
[29] Herrmann，L.，Schwab，C.，Zech，J.：贝叶斯PDE反演中数据到QoI映射的深度ReLU神经网络表达率。2020-02年技术报告，应用数学研讨会，苏黎世理工大学（2020年）
[30] 赫塞文，J。；Rozza，G。；Stamm，B.，参数化偏微分方程的认证简化基方法，Springer数学简介（2015），苏黎世：Springer，Zurich·Zbl 1329.65203号
[31] 赫塞文，JS；Ubbiali，S.，《使用神经网络对非线性问题进行非侵入式降阶建模》，J.Compute。物理。，363, 55-78 (2018) ·Zbl 1398.65330号 ·doi:10.1016/j.jcp.2018.02.037
[32] 黄，VH；Schwab，C.，随机参数椭圆多尺度偏微分方程的解析正则性和多项式逼近，Ana。申请。（新加坡），11，1，1350001（2013）·Zbl 1259.49059号 ·doi:10.1142/S021953051350012
[33] Hutzenthaler，M.，Jentzen，A.，Kruse，T.，Nguyen，T.：证明校正深度神经网络克服了半线性热方程数值近似中的维数灾难。arXiv预印本arXiv:1901.10854（2019）·Zbl 1455.65200元
[34] Jentzen，A.，Salimova，D.，Welti，T.：深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明。arXiv-premintarXiv:1809.07321（2018）
[35] Khoo，Y.，Lu，J.，Ying，L.：用人工神经网络解决参数PDE问题。arXiv预印arXiv:1707.03351（2017）
[36] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。arXiv预印arXiv:1412.6980（2014）
[37] Kutyniok，G.，Petersen，P.C.，Raslan，M.，Schneider，R.：深度神经网络和参数PDE的理论分析。In：构造近似（2020）
[38] IE拉加里斯；利卡斯，A。；Fotiadis，DI，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) ·doi:10.1109/72.7712178
[39] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[40] Lee，K。；Carlberg，KT，使用深度卷积自编码器对非线性流形上动力系统的模型简化，J.Compute。物理。，404, 108973 (2020) ·Zbl 1454.65184号 ·doi:10.1016/j.jcp.2019.108973
[41] Lu，J.，Shen，Z.，Yang，H.，Zhang，S.：光滑函数的深度网络近似。arXiv预印arXiv:2001.03040（2020）
[42] Lu，L.，Meng，X.，Mao，Z.，Karniadakis，G.：DeepXDE：解微分方程的深度学习库。arXiv预印本arXiv:1907.04502（2019）·Zbl 1459.65002号
[43] 吕贝尔斯，N。；JS史密斯；Barros，K.，《使用深度神经网络对分子能量进行分层建模》，J.Chem。物理。，148, 24, 241715 (2018) ·doi:10.1063/1.5011181
[44] Lye，K.，Mishra，S.，Molinaro，R.：提高机器学习算法准确性的多级程序。2019-54年技术报告，瑞士苏黎世理工学院应用数学研讨会（2019年）
[45] Marcati，C.、Opschoor，J.A.、Petersen，P.C.、Schwab，C.：点和边奇异性的指数相关神经网络近似率。arXiv预印本arXiv:2010.12217（2020）
[46] Mhaskar，H.，光滑函数和解析函数最佳逼近的神经网络，神经计算。，8, 1, 164-177 (1996) ·doi:10.1162/neco.1996.8.1.164
[47] Nelsen，N.，Stuart，A.：巴拿赫空间之间输入-输出映射的随机特征模型。arXiv预打印arXiv:2005.10224（2020）
[48] 诺瓦克，E。；Woźniakowski，H.，无限可微多元函数的逼近很难，J.Complex。，25, 4, 398-404 (2009) ·Zbl 1180.41031号 ·doi:10.1016/j.jco.2008.11.002
[49] Ohlberger，M.，Rave，S.：简化基础方法：成功、局限和未来挑战。arXiv预印arXiv:1511.02021v2（2016）
[50] Opschoor，J。；彼得森，PC；Schwab，C.，Deep ReLU网络和高阶有限元方法，分析。申请。，18, 5, 715-770 (2020) ·Zbl 1452.65354号 ·doi:10.1142/S0219530519410136
[51] Petersen，P.，Laakmann，F.：ReLU DNNs对参数线性传输方程解的有效逼近。In:计算数学进展，第47卷（2021）·Zbl 1472.65134号
[52] Petersen，PC公司；Voigtlaender，F.，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络。，180, 296-330 (2018) ·Zbl 1434.68516号 ·doi:10.1016/j.neunet.2018.08.019
[53] 彼得森，PC；Voigtlaender，F.，卷积神经网络和全连通网络近似的等效性，Proc。美国数学。《社会学杂志》，1481567-1581（2020）·Zbl 07176144号 ·doi:10.1090/proc/14789
[54] Poggio，T。；哈斯卡，H。；Rosasco，L。；米兰达，B。；Liao，Q.，《为什么以及何时深层而非浅层网络可以避免维度诅咒：国际汽车杂志》。计算。，14, 5, 503-519 (2017) ·doi:10.1007/s11633-017-1054-2
[55] Powell，C.，Lord，G.，Shardlow，T.：计算随机偏微分方程导论，第1版，博尔。8.应用数学课文。剑桥大学出版社，伦敦（2014）·兹比尔1327.60011
[56] Quarteroni，A.，Manzoni，A.，Negri，F.：偏微分方程的约化基方法，Unitext第92卷。查姆施普林格（2016）。简介，La Matematica per il 3+2·Zbl 1337.65113号
[57] Raissi，M.：深层隐藏物理模型：非线性偏微分方程的深层学习。arXiv预印arXiv:1801.06637（2018）·Zbl 1439.68021号
[58] Raissi，M.，Perdikaris，P.，Karniadakis，G.E.：物理学为深度学习提供了信息（第一部分）：非线性偏微分方程的数据驱动解。arXiv预印arXiv:1711.10561（2017）·Zbl 1382.65229号
[59] Raissi，M.，Perdikaris，P.，Karniadakis，G.E.：物理学为深度学习提供了信息（第二部分）：非线性偏微分方程的数据驱动发现。阿西夫。arXiv预印arXiv:1711.10561，（2017）·Zbl 1380.68339号
[60] Rauhut，H。；Schwab，C.，高维参数算子方程的压缩传感Petrov-Galerkin近似，数学。计算。，86, 661-700 (2014) ·Zbl 1358.65034号 ·doi:10.1090/com/3113
[61] 雷加佐尼，F。；Dedè，L。；Quarteroni，A.，《快速可靠求解含时微分方程的机器学习》，J.Compute。物理。，397, 108852 (2019) ·Zbl 1454.65185号 ·doi:10.1016/j.jp.2019.07.050
[62] Rozza，G。；Huynh，DBP；Patera，AT，仿射参数化椭圆型矫顽偏微分方程的约化基近似和后验误差估计：在输运和连续介质力学中的应用，Arch。计算。方法工程，15，3，229-275（2008）·Zbl 1304.65251号 ·doi:10.1007/s11831-008-9019-9
[63] Samaniego，E.，Anitescu，C.，Goswami，S.，Nguyen-Thanh，V.M.，Guo，H.，Hamdia，K.，Rabczuk，T.，Zhung，X.：通过机器学习解决计算力学中偏微分方程的能量方法：概念、实现和应用。arXiv预印arXiv:1908.10407（2019）·Zbl 1439.74466号
[64] 圣马力诺。；Maulik，R。；Ahmed，M.，瞬变流降阶建模的人工神经网络框架，Commun。非线性科学。数字。模拟。，77, 271-287 (2019) ·Zbl 1479.76082号 ·doi:10.1016/j.cnsns.2019.04.025
[65] 施瓦布，C。；Zech，J.，《高维深度学习：UQ中广义多项式混沌展开的神经网络表达率》，Ana。申请。（新加坡），17，1，19-55（2019）·Zbl 1478.68309号 ·doi:10.1142/S0219530518500203
[66] Schütt，KT；苏西达，HE；Kinderman，P-J；Tkatchenko，A。；Müller，K-R，SchNet-分子和材料的深度学习架构，J.Chem。物理。，148, 24, 241722 (2018) ·doi:10.1063/1.5019779
[67] 沙哈姆，美国。；Cloninger，A。；Coifman，RR，深度神经网络的可证明近似性质，应用。计算。哈蒙。分析。，44, 3, 537-557 (2018) ·Zbl 1390.68553号 ·doi:10.1016/j.aca.2016.04.003
[68] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·兹比尔1416.65394 ·doi:10.1016/j.jcp.2018.08.029
[69] Tripathy，R。；Bilionis，I.，Deep UQ：学习深度神经网络替代模型，用于高维不确定性量化，J.Compute。物理。，375, 02 (2018) ·兹伯利1419.68084 ·doi:10.1016/j.jcp.2018.08.036
[70] Wackerly，D。；门登霍尔，W。；Scheaffer，R.，《数学统计与应用》（2014），波士顿：Cengage Learning，波士顿·Zbl 0681.62001号
[71] 韦伯斯特，C。；Tran，H。；Dexter，N.，参数化偏微分方程稀疏同时逼近的混合正则化方法，ESAIM Math。模型。数字。，53, 2025-2045 (2019) ·Zbl 07167647号 ·doi:10.1051/m2安/2019048
[72] E.渭南。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。Stat.，5，4，349-380（2017）·Zbl 1382.65016号 ·doi:10.1007/s40304-017-0117-6
[73] E.渭南。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号
[74] Yang，Y.，Perdikaris，P.：基于物理的深层生成模型。arXiv预印arXiv:1812.03511（2018）
[75] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94103-114（2017）·Zbl 1429.68260号 ·doi:10.1016/j.欧洲网.2017.07.002
[76] Yarotsky，D.：用非常深的ReLU网络对连续函数进行最佳逼近。arXiv预印arXiv:1802.03620（2018）
[77] 周，D-X，深度卷积神经网络理论：下采样，神经网络。，124319-327（2020）·Zbl 1434.68532号 ·doi:10.1016/j.neunet.2020.01.018
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。