跳到主要内容
研究论文
免费访问

参数PDE的多级CNN

机器学习研究杂志第24卷第1期条款编号:373第17916–17957页
出版:2024年3月6日出版历史
跳过抽象节

摘要

我们将偏微分方程(PDE)多级求解器的概念与基于神经网络的深度学习相结合,提出了一种新的高效数值求解高维参数PDE的方法。深入的理论分析表明,所提出的结构能够将多重网格V循环近似到任意精度,权重的数量仅依赖于最细网格的对数分辨率。因此,可以导出与(随机)参数维无关的神经网络求解参数偏微分方程的近似界。

该方法在高维参数线性椭圆偏微分方程上的性能得到了验证,这是不确定性量化中常见的基准问题。我们发现,与最先进的基于深度学习的解决方案相比,它有了显著的改进。作为特别具有挑战性的例子,研究了100个参数维高维非仿射高斯场的随机电导率和随机cookie问题。由于我们方法的多级结构,可以在更精细的层次上减少训练样本的数量,从而显著降低训练数据的生成时间和我们方法的训练时间。

工具书类

  1. 本·阿德科克和尼克·德克斯特。深度神经网络函数逼近理论与实践之间的差距。SIAM数据科学数学杂志, 3(2): 624-655, 2021.谷歌学者谷歌学者
  2. 阿尼玛·阿南德库玛(Anima Anandkumar)、卡米亚·阿齐扎德涅谢利(Kamyar Azizzadenesheli)、考希克·巴塔查里亚(Kaushik Bhattacharya)、尼古拉·科瓦奇基(Nikola Kovachki)、李宗义(Zongyi Li)、刘伯里(Burige。神经算子:偏微分方程的图核网络。ICLR 2020深度神经模型和微分方程集成研讨会, 2020.谷歌学者谷歌学者
  3. 伊沃·巴布斯卡(Ivo Babuska)、法比奥·诺比尔(Fabio Nobile)和劳尔·坦彭(Raul Tempone)。具有随机输入数据的椭圆偏微分方程的随机配置方法。SIAM数值分析杂志, 45:1005-1034, 2007.谷歌学者谷歌学者
  4. 皮埃尔·巴尔迪。深入学习生物医学数据科学。生物医学数据科学年度评论, 1(1):181-205, 2018.谷歌学者谷歌学者
  5. 乔纳斯·巴拉尼、丹尼尔·克雷斯纳和迈克尔·彼得斯。具有随机数据的偏微分方程的多级张量近似。随机与偏微分方程:分析与计算, 5:400-427, 2016.谷歌学者谷歌学者
  6. 克里斯蒂安·贝克(Christian Beck)、马丁·胡岑塔勒(Martin Hutzenthaler)、阿诺夫·詹岑(Arnulf Jentzen)和本诺·库库克(Benno Kuckuck)。基于深度学习的偏微分方程近似方法综述。离散和连续动力系统-B, 28(6):3697-3746, 2023. ISSN 1531-3492。谷歌学者谷歌学者
  7. 朱利叶斯·伯纳尔、马库斯·达布兰德和菲利普·格罗斯。通过深度学习数值求解高维kolmogorov偏微分方程的参数族。神经信息处理系统研究进展第33:16615-16627页,第2020a页。谷歌学者谷歌学者
  8. 朱利叶斯·伯纳(Julius Berner)、菲利普·格罗斯(Philipp Grohs)和阿努夫·詹森(Arnulf Jentzen)。泛化误差分析:深度人工神经网络的经验风险最小化克服了black-scholes偏微分方程数值逼近中的维数灾难。SIAM数据科学数学杂志,2(3):631-6572020b。谷歌学者谷歌学者
  9. Saakaar Bhatnagar、Yaser Afshar、Shaowu Pan、Karthik Duraisamy和Shailendra Kaushik。用卷积神经网络预测气动流场。计算力学, 64(2):525-545, 2019. ISSN 1432-0924。谷歌学者谷歌学者
  10. 迪特里希·布莱斯。有限元:理论、快速求解器和在固体力学中的应用剑桥大学出版社,2007年。谷歌学者谷歌学者
  11. 迪特里希·布莱斯(Dietrich Braess)和沃尔夫冈·哈克布施(Wolfgang Hackbusch)。包含v循环的多重网格方法的一个新的收敛性证明。暹罗数值分析杂志, 20:967-975, 1983.谷歌学者谷歌学者
  12. 陈玉燕、董斌和徐金超。Meta-magne:用于求解参数化偏微分方程的Meta多重网格网络。计算物理杂志第1109962022页。谷歌学者谷歌学者
  13. Abdelah Chkifa、Albert Cohen、Giovanni Migliorati、Fabio Nobile和Raul Tempone。带随机评估的离散最小二乘多项式逼近-应用于参数和随机椭圆偏微分方程。ESAIM:数学建模与数值分析——数学建模与分析数字, 49(3):815-837, 2015.谷歌学者谷歌学者
  14. Sung-Jin Cho、Seo-Won Ji、Jun-Pyo Hong、Seung-Won Jung和Sung-Jea Ko。重新思考单图像去模糊中的粗到细方法2021 IEEE/CVF国际计算机视觉会议(ICCV),第4621-46302021页。谷歌学者谷歌学者
  15. 菲利普·齐亚雷特(Philippe G.Ciarlet)。椭圆问题的有限元方法工业和应用数学学会,2002年。谷歌学者谷歌学者
  16. 阿尔伯特·科恩和罗纳德·德沃尔。高维参数pde的近似。数字学报, 24:1-159, 2015.谷歌学者谷歌学者
  17. 阿尔伯特·科恩和乔瓦尼·米格里奥拉蒂。对数正态系数椭圆偏微分方程的近最优逼近方法。计算数学, 2023.谷歌学者谷歌学者
  18. 魏南娥(Weinan E)、韩杰群(Jiequn Han)和阿努尔夫·詹岑(Arnulf Jentzen)。高维抛物型偏微分方程和后向随机微分方程的基于深度学习的数值方法。数学与统计传播, 5(4):349-380, 2017. 国际标准编号2194-671X。谷歌学者谷歌学者
  19. 马丁·艾格尔(Martin Eigel)、克劳德·杰弗里·吉特尔森(Claude Jeffrey Gittelson)、克里斯托夫·施瓦布(Christoph Schwab)和埃尔马尔·赞德(Elmar Zander)。自适应随机伽辽金有限元法。应用力学与工程中的计算机方法,270:247-2692014年3月。谷歌学者谷歌学者
  20. 马丁·艾格尔(Martin Eigel)、莱因霍德·施奈德(Reinhold Schneider)、菲利普·特朗施克(Philipp Trunschke)和塞巴斯蒂安·沃尔夫(Sebastian Wolf)。变分蒙特卡罗——机器学习和高维偏微分方程的桥接概念。计算数学进展,45(5-6):2503-25322019年10月a。谷歌学者谷歌学者
  21. 马丁·艾格尔(Martin Eigel)、莱因霍德·施奈德(Reinhold Schneider)、菲利普·特朗施克(Philipp Trunschke)和塞巴斯蒂安·沃尔夫(Sebastian Wolf)。变分蒙特卡罗——机器学习和高维偏微分方程的桥接概念。计算数学进展,45(5):2503-25322019b。谷歌学者谷歌学者
  22. 马丁·艾格尔(Martin Eigel)、曼努埃尔·马绍尔(Manuel Marschall)、马克斯·普费弗(Max Pfeffer)和莱因霍德·施奈德(Reinhold Schneider)。分层张量表示中对数正态系数的自适应随机伽辽金有限元法。数值数学, 145(3):655-692, 6 2020.谷歌学者谷歌学者
  23. Oliver G Ernst、Bjorn Sprungk和Lorenzo Tamellini。可数多高斯随机变量函数稀疏配置的收敛性(应用于椭圆偏微分方程)。SIAM数值分析杂志, 56(2):877-905, 2018.谷歌学者谷歌学者
  24. 范宇伟(Yuwei Fan)、乔迪·费利乌·法巴(Jordi Feliu-Faba)、林琳(Lin Lin)、乐星·英(Lexing Ying)和莱昂纳多·泽佩达·努内斯(Leonardo Zepeda-Nünez)。基于层次嵌套基的多尺度神经网络。数学科学研究,6(2):1-282019a。谷歌学者谷歌学者
  25. 范宇伟、林琳、应乐兴和莱昂纳多·泽佩达·努内斯。基于层次矩阵的多尺度神经网络。多尺度建模与仿真,17(4):1189-12132019b。谷歌学者谷歌学者
  26. 高瑞奇(Ruiqi Gao)、杨璐(Yang Lu)、周俊培(Junpei Zhou)、朱松春(Song-Chun Zhu)和吴英年(Ying Nian Wu)。通过多网格建模和采样学习生成卷积。2018 IEEE/CVF计算机视觉和模式识别会议,第9155-9164页,2018年。谷歌学者谷歌学者
  27. Moritz Geist、Philipp Petersen、Mones Raslan、Reinhold Schneider和Gitta Kutyniok。用深度神经网络数值求解参数扩散方程。科学计算杂志, 88(1):1-37, 2021.谷歌学者谷歌学者
  28. 马丁·根泽尔(Martin Genzel)、英戈·居林(Ingo Gühring)、扬·麦克唐纳(Jan MacDonald)和马克西米利安·梅兹(Maximilian März)。通过深度学习实现层析反演问题的近精确恢复。在Kamalika Chaudhuri、Stefanie Jegelka、Le Song、Csaba Szepesvari、Gang Niu和Sivan Sabato,编辑,机器学习国际会议,2022年7月17日至23日,美国马里兰州巴尔的摩,ICML 2022,第162卷,共页机器学习研究进展第7368-7381页。PMLR,2022年。谷歌学者谷歌学者
  29. 伊恩·古德费罗(Ian Goodfellow)、约舒亚·本吉奥(Yoshua Bengio)和亚伦·库维尔(Aaron Courville)。深度学习麻省理工学院出版社,剑桥,2016年。谷歌学者谷歌学者
  30. 菲利普·格罗斯和卢卡斯·赫尔曼。具有边界条件的高维椭圆偏微分方程的深度神经网络逼近。IMA数值分析杂志, 42(3):2055-2082, 2022.谷歌学者谷歌学者
  31. 菲利普·格罗斯(Philipp Grohs)、费比安·霍尔农(Fabian Hornung)、阿努夫·詹岑(Arnulf Jentzen)和菲利普·冯·沃森伯格(Philipse Von Wursemberger)。证明了人工神经网络在数值逼近black-scholes偏微分方程时克服了维数灾难。arXiv预打印arXiv:1809.02362, 2018.谷歌学者谷歌学者
  32. 塔玛拉·格罗斯曼(Tamara G Grossmann)、乌尔苏拉·朱莉娅·科莫罗夫斯卡(Urszula Julia Komorowska)、乔纳斯·拉茨(Jonas Latz)和卡罗拉·比比安·施恩利布。基于物理的神经网络能击败有限元方法吗?arXiv预打印arXiv:2302.04107, 2023.谷歌学者谷歌学者
  33. Ingo Gühring和Mones Raslan。光滑空间中具有可编码权重的神经网络的逼近率。神经网络, 134:107-130, 2021.谷歌学者谷歌学者
  34. 郭晓晓,李伟,弗朗西斯科·伊奥里奥。定常流近似的卷积神经网络。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集,KDD’16,第481-490页,美国纽约州纽约市,2016年。计算机协会。国际标准图书编号9781450342322。谷歌学者谷歌学者
  35. Ingo Gühring、Gitta Kutyniok和Philipp Petersen。深度ReLU神经网络逼近的误差界Ws、p规范。分析与应用(新加坡), 18(05): 803-859, 2020.谷歌学者谷歌学者
  36. 英戈·居林(Ingo Gühring)、莫内斯·拉斯兰(Mones Raslan)和吉塔·库蒂尼奥克(Gitta Kutyniok)。深层神经网络的表达能力。在Philipp Grohs和Gitta Kutyniok的编辑中,深度学习的数学方面,第149-199页。剑桥大学出版社,2022年。谷歌学者谷歌学者
  37. 沃尔夫冈·哈克布什(Wolfgang Hackbusch)。多网格方法及其应用,第4卷。施普林格科学与商业媒体,2013年。谷歌学者谷歌学者
  38. Jiequn Han,Arnulf Jentzen,等。基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法。数学和统计传播, 5(4):349-380, 2017.谷歌学者谷歌学者
  39. Helmut Harbrecht、Michael Peters和Markus Siebenmorgen。具有对数正态分布扩散系数的偏微分方程的多能级加速求积。SIAM/ASA不确定性量化杂志,4(1):520-5512016。谷歌学者谷歌学者
  40. 何俊才和徐金超。Mgnet:多重网格和卷积神经网络的统一框架。科学中国数学, 62(7):1331-1354, 2019. ISSN 1869-1862。谷歌学者谷歌学者
  41. J.S.Hesthaven和S.Ubbiali。使用神经网络对非线性问题进行非侵入式降阶建模。计算物理杂志, 363:55-78, 2018. ISSN 0021-9991。谷歌学者谷歌学者
  42. 江志浩(Zhihao Jiang)、佩吉曼·塔马塞比(Pejman Tahmasebi)和毛志强(Zhiqiang Mao)。具有自回归策略的深度残差u-net卷积神经网络用于大规模地质系统中的流体流动预测。水资源进展, 150:103878, 02 2021.谷歌学者谷歌学者
  43. John A Keith、Valentin Vassilev-Galindo、Bingqing Cheng、Stefan Chmiela、Michael Gastegger、Klaus-Robert Müller和Alexandre Tkatchenko。结合机器学习和计算化学,对化学系统进行预测性洞察。化学评论, 121(16):9816-9872, 2021.谷歌学者谷歌学者
  44. Ehsan Kharazmi、Zhang Zhongqiang和George Em Karniadakis。变分物理形成了求解偏微分方程的神经网络。arXiv预打印arXiv:1912.00873, 2019.谷歌学者谷歌学者
  45. Diederik P.Kingma和Jimmy Ba.Adam:一种随机优化方法。第三届学习表征国际会议,ICLR 2015,美国加利福尼亚州圣地亚哥,2015年5月7日至9日,会议记录, 2015.谷歌学者谷歌学者
  46. Omar M Knio和OP Le Maitre。使用多项式混沌分解的cfd中的不确定性传播。流体动力学研究, 38(9):616, 2006.谷歌学者谷歌学者
  47. 吉塔·库蒂尼奥克(Gitta Kutyniok)、菲利普·彼得森(Philipp Petersen)、莫内斯·拉斯兰(Mones Raslan)和莱因霍德·施奈德(Reinhold Schneider)。深度神经网络和参数偏微分方程的理论分析。构造性近似, 55 (1):73-125, 2022.谷歌学者谷歌学者
  48. 李宗义(Zongyi Li)、尼古拉·科瓦奇奇(Nikola Kovachki)、卡米亚尔·阿齐扎德涅谢利(Kamyar Azizzadenesheli)、布里吉德·刘(Burigede Liu)、安德鲁·斯图亚特(Andrew Stuart)、考希克·巴塔查亚(Kaushik Bhattachary。参数偏微分方程的多极图神经算子。神经信息处理系统研究进展, 33:6755-6766, 2020.谷歌学者谷歌学者
  49. 李宗义(Zongyi Li)、尼古拉·鲍里斯拉沃夫·科瓦奇奇(Nikola Borislavov Kovachki)、卡米亚·阿齐扎德涅谢利(Kamyar Azizzadenesheli)、布里吉德·刘(Burigede liu)、考希克·巴塔查里亚(Kaushik Bhattacharya)、安德鲁·斯图。参数偏微分方程的傅里叶神经算子。国际学习代表大会2021a年。谷歌学者谷歌学者
  50. 李宗义(Zongyi Li)、尼古拉·鲍里斯拉沃夫·科瓦奇奇(Nikola Borislavov Kovachki)、卡米亚·阿齐扎德涅谢利(Kamyar Azizzadenesheli)、布里吉德·刘(Burigede liu)、考希克·巴塔查里亚(Kaushik Bhattacharya)、安德鲁·斯图。参数偏微分方程的傅里叶神经算子。国际学习代表大会2021亿。谷歌学者谷歌学者
  51. 刘良良、程建宏、权权、吴方祥、王玉平和王建新。医学图像分割中的u形网络综述。神经计算, 409:244-258, 2020. ISSN 0925-2312。谷歌学者谷歌学者
  52. 安德斯·洛格和加思·N·威尔斯。多芬。ACM数学软件汇刊, 37(2):1-28, 2010. ISSN 1557-7295。谷歌学者谷歌学者
  53. 加布里埃尔·J·洛德(Gabriel J Lord)、凯瑟琳·鲍威尔(Catherine E Powell)和托尼·沙德洛(Tony Shardlow)。计算随机偏微分方程简介,第50卷。剑桥大学出版社,2014年。谷歌学者谷歌学者
  54. 吕璐、孟旭辉、毛志平和乔治·埃姆·卡尼亚达克斯。Deepxde:用于求解微分方程的深度学习库。SIAM审查, 63(1):208-228, 2021.谷歌学者谷歌学者
  55. 基蒂尔·奥莱尔(Kjetil O Lye)、悉达塔·米什拉(Siddhartha Mishra)和罗伯托·莫里纳罗(Roberto Molinaro)。用于提高机器学习算法准确性的多级过程。欧洲应用数学杂志, 32(3):436-469, 2021.谷歌学者谷歌学者
  56. 悉达塔·米什拉和罗伯托·莫里纳罗。物理信息神经网络逼近偏微分方程的泛化误差估计。IMA数值分析杂志, 43(1):1-43, 01 2022. ISSN 0272-4979。谷歌学者谷歌学者
  57. 法比奥·诺比尔(Fabio Nobile)、劳尔·坦彭(Raül Tempone)和克莱顿·韦伯斯特(Clayton G Webster)。具有随机输入数据的偏微分方程的稀疏网格随机配置方法。SIAM数值分析杂志,46(5):2309-23452008年。谷歌学者谷歌学者
  58. 弗兰克·诺(Frank Noé)、亚历山大·特卡琴科(Alexandre Tkatchenko)、克劳斯·罗贝特·米勒(Klaus-Robert Müller)和塞西莉亚·克莱门蒂(Cecilia Clementi)。分子模拟的机器学习。物理化学年鉴, 71(1):361-390, 2020.谷歌学者谷歌学者
  59. Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga、Alban Desmaison、Andreas Kopf、Edward Yang、Zachary DeVito、Martin Raison、Alykhan Tejani、Sasank Chilamkurthy、Benoit Steiner、Lu Fang、Junjie Bai和Soumith Chintala。Pytorch:一个命令式、高性能的深度学习库。在H.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.Fox和R.Garnett的编辑中,神经信息处理系统的进展32,第8024-8035页。Curran Associates,Inc.,2019年。谷歌学者谷歌学者
  60. 菲利普·彼得森和菲利克斯·沃格特兰德。使用深度ReLU神经网络优化逼近分段光滑函数。神经网络, 108:296-330, 2018.谷歌学者谷歌学者
  61. Maziar Raissi、Paris Perdikaris和George Em Karniadakis。基于物理的神经网络:用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架。计算物理杂志, 378:686-707, 2019. ISSN 0021-9991。谷歌学者谷歌学者
  62. 阿蒙多·阿拉马巴提兰和帕布·拉马钱德兰。Spinn:用于pde的稀疏、基于物理且部分可解释的神经网络。计算物理杂志, 445: 110600, 2021.谷歌学者谷歌学者
  63. 刘易斯·弗里·理查德森和理查德·特特利·格拉泽布鲁克。Ix.包含微分方程的物理问题的有限差分近似算术解,并应用于砌石坝的应力。伦敦皇家学会哲学学报。系列A,包含数学或物理性质的论文, 210(459-470):307-357, 1911.谷歌学者谷歌学者
  64. 奥拉夫·伦尼伯格(Olaf Ronneberger)、菲利普·菲舍尔(Philipp Fischer)和托马斯·布洛克斯(Thomas Brox)。U-net:生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议第234-241页。施普林格,2015年。谷歌学者谷歌学者
  65. Youcef Saad和Martin H Schultz。Gmres:求解非对称线性系统的广义最小残差算法。SIAM科学计算杂志, 7(3): 856-869, 1986. ISSN 0196-5204。谷歌学者谷歌学者
  66. 彼得·萨多夫斯基和皮埃尔·巴尔迪。自然科学的深度学习:物理应用。列夫·罗佐纳(Lev Rozonoer)、鲍里斯·米尔金(Boris Mirkin)和伊利亚·穆奇尼克(Ilya Muchnik)编辑,机器学习中的Braverman阅读。从最初到现在的关键思想:纪念艾曼纽尔·布拉夫曼逝世40周年国际会议,2017年4月28日至30日,美国马萨诸塞州波士顿,受邀会谈,第269-297页。施普林格国际出版社,商会,2018。谷歌学者谷歌学者
  67. 克里斯托夫·施瓦布(Christoph Schwab)和克劳德·杰弗里·吉特尔森(Claude Jeffrey Gittelson)。高维参数和随机偏微分方程的稀疏张量离散化。数字学报, 20:291-467, 2011.谷歌学者谷歌学者
  68. Christoph Schwab和Jakob Zech。高维深度学习:uq中广义多项式混沌展开的神经网络表达率。分析和应用,17(01):2019年19月55日。谷歌学者谷歌学者
  69. W.Shi、J.Caballero、F.Huszar、J.Totz、A.P.Aitken、R.Bishop、D.Rueckert和Z.Wang。使用高效的亚像素卷积神经网络实时单图像和视频超分辨率2016年IEEE计算机视觉和模式识别会议(CVPR),第1874-1883页,美国加利福尼亚州洛斯阿拉米托斯,2016年6月。IEEE计算机学会。谷歌学者谷歌学者
  70. 贾斯汀·西里尼亚诺(Justin Sirignano)和康斯坦蒂诺斯·斯皮利奥普洛斯(Konstantinos Spiliopoulos)。Dgm:解偏微分方程的深度学习算法。计算物理杂志, 375:1339-1364, 2018. ISSN 0021-9991。谷歌学者谷歌学者
  71. A.L.Teckentrup、P.Jantsch、C.G.Webster和M.Gunzburger。一种具有随机输入数据的偏微分方程的多级随机配置方法。SIAM/ASA不确定性量化杂志, 3(1):1046-1074, 2015.谷歌学者谷歌学者
  72. 本杰明·乌姆门霍费尔(Benjamin Ummenhofer)、卢卡斯·普兰特(Lukas Prantl)、尼尔斯·瑟雷(Nils Thuerey)和弗拉登·科尔顿(Vladlen Koltun)。拉格朗日流体模拟与连续卷积。国际学习代表大会, 2020.谷歌学者谷歌学者
  73. 徐雪峰和张晨松。不精确双网格方法的收敛性分析:一个理论框架。SIAM数值分析杂志, 60(1):133-156, 2022.谷歌学者谷歌学者
  74. 德米特里·雅罗斯基。深相关网络近似的误差界。神经网络, 94:103-114, 2017.谷歌学者谷歌学者
  75. 哈里·伊塞伦塔特。多重网格方法的新旧收敛性证明。数字学报, 2:285-326, 1993.谷歌学者谷歌学者
  76. Bing Yu等人。deep ritz方法:一种基于深度学习的数值算法,用于求解变分问题。数学与统计传播, 6(1):1-12, 2018.谷歌学者谷歌学者
  77. 朱银浩和尼古拉斯·扎巴拉斯。用于代理建模和不确定性量化的贝叶斯深度卷积编解码网络。计算物理杂志, 366:415-447, 2018. 编号0021-991。谷歌学者谷歌学者

索引术语

  1. 参数PDE的多级CNN
          索引术语已通过自动分类分配给内容。

          建议

          评论

          登录选项

          检查您是否可以通过登录凭据或您的机构访问本文。

          登录

          完全访问权限

          • 文章指标

            • 下载次数(过去12个月)7
            • 下载次数(最近6周)1

            其他指标

          PDF格式

          以PDF文件查看或下载。

          PDF格式

          电子阅读器

          使用eReader联机查看。

          电子阅读器