A machine learning framework for data driven acceleration of computations of differential equations

Siddhartha Mishra; Siddhartha Mishra

doi:10.3934/Mine.2018.1.118

工程数学

2019,第1卷, 第1版: 118-146. doi（操作界面）：10.3934/矿山2018.1.118

研究文章

数据驱动的微分方程计算加速的机器学习框架

悉达多·米什拉 ^,

应用数学（SAM）、D-Math、瑞士苏黎世苏黎世联邦理工学院、苏黎世8092苏黎世罗米萨塞101应用数学研讨会

收到：2018年7月25日 认可的：2018年9月3日 出版：2018年10月10日

我们提出了一个机器学习框架来加速含时ODE和PDE的数值计算。我们的方法基于将现有的数值方法重铸（推广）为人工神经网络，并具有一组可训练参数。这些参数在在线训练过程中通过（随机）梯度下降方法（近似）最小化合适的（可能非凸的）损失函数来确定。该算法被设计为始终与潜在的微分方程一致。涉及线性和非线性ODE和PDE模型问题的数值实验表明，与标准数值方法相比，计算效率显著提高。
- 机器学习,
- 深度学习,
- 微分方程,
- 非凸优化,
- 时间相关问题
引文：悉达多·米什拉。一种用于微分方程计算的数据驱动加速的机器学习框架[J]。工程数学，2019，1（1）：118-146。doi:10.3934/Mine.2018.1.118

相关论文：

摘要

我们提出了一个机器学习框架来加速含时ODE和PDE的数值计算。我们的方法基于将现有的数值方法重铸（推广）为人工神经网络，并具有一组可训练参数。这些参数在在线训练过程中通过（随机）梯度下降方法（近似）最小化合适的（可能非凸的）损失函数来确定。该算法被设计为始终与潜在的微分方程一致。涉及线性和非线性ODE和PDE模型问题的数值实验表明，与标准数值方法相比，计算效率显著提高。

参考文献

[1]	Barron AR（1993）S形函数叠加的通用近似界。IEEE T信息理论39: 930–945. doi（操作界面）：10.1109/18.256500
[2]	Beck C、Weinan E和Jentzen A（2017）高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法。2017-49年技术报告，应用数学研讨会，苏黎世理工学院。
[3]	Bijl H、Lucor D、Mishra S等（2014）计算流体动力学中的不确定性量化。计算科学与工程92讲稿，施普林格。
[4]	Borzi A和Schulz V（2012），偏微分方程控制系统的计算优化，暹罗.
[5]	Brenner SC和Scott LR（2008）有限元方法的数学理论。应用数学课文15，施普林格。
[6]	Dafermos CM（2005）《连续统物理学中的双曲守恒定律》（第二版），Springer Verlag。
[7]	Weinan E和Yu B（2018）The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题。公共数学统计6: 1–12. doi（操作界面）：10.1007/s40304-018-0127-z
[8]	Fjordholm US、Mishra S和Tadmor E（2012）守恒定律系统的任意高阶精确本质非振荡熵稳定格式。SIAM J数字分析50: 544–573. doi（操作界面）：10.1137/110836961
[9]	Ghanem R，Higdon D和Owhadi H（2016）不确定性量化手册，施普林格。
[10]	Godlewski E和Raviart PA（1991），双曲守恒律系统。数学与应用，椭圆出版物。，巴黎。
[11]	Goodfellow I、Bengio Y和Courville A（2016）深度学习。麻省理工学院出版社。可从以下位置获得：http://www.deeplearningbook.org。
[12]	Hairer E和Wanner G（1991）求解常微分方程。计算数学中的Springer系列，14，Springer。
[13]	Hornik K、Stinchcombe M和White H（1989）多层前馈网络是通用逼近器。神经网络2：359–366。doi（操作界面）：10.1016/0893-6080（89）90020-8
[14]	Kingma DP和Ba JL（2015）Adam：一种随机优化方法。学习代表国际会议, 1–13.
[15]	LeCun Y、Bengio Y和Hinton G（2015）深度学习。自然521: 436–444. doi（操作界面）：10.1038/自然14539
[16]	LeVeque RJ（2007）常微分方程和偏微分方程、稳态和时间相关问题的有限差分方法，暹罗.
[17]	Mishra S、Schwab C和Šukys J（2012）多维非线性守恒律系统的多级蒙特卡罗有限体积方法。计算机物理杂志231: 3365–3388. doi（操作界面）：2016年10月10日/j.jcp.2012.01.11
[18]	Miyanawala TP和Jaiman RK（2017）Navier-Stokes方程的高效深度学习技术：应用于非定常尾流动力学。预打印，arXiv:1710.09099v2。
[19]	Poon H和Domingos P（2011）《Sum-product Networks:一种新的深层架构》。计算机视觉国际会议, 689–690.
[20]	Raissi M和Karniadakis GE（2018）《隐藏物理模型：非线性偏微分方程的机器学习》。计算机物理杂志357: 125–141. doi（操作界面）：2016年10月10日/j.jcp.2017.11.039
[21]	Ray D和Hesthaven JS（2018）作为问题细胞指示器的人工神经网络。计算机物理杂志出现。
[22]	Ruder S（2017）梯度下降优化算法概述。预打印，arXiv.1609.04747v2。
[23]	Schwab C和Zech J（2017）《高维度深度学习》。2017-57年技术报告，应用数学研讨会，苏黎世理工学院。
[24]	Stuart AM（2010）《逆向问题：贝叶斯观点》。数字学报19: 451–559. doi（操作界面）：10.1017/S0962492910000061
[25]	Tadmor E（2003）非线性守恒定律差分近似和相关时间相关问题的熵稳定性理论。数字学报，451–512。
[26]	Tompson J、Schlachter K、Sprechmann P等（2017）用卷积网络加速欧拉流体模拟。预打印，arXiv:1607.03597v6。
[27]	Trefethen LN（2000）MATLAB中的谱方法，SIAM。
[28]	Troltzsch F（2010）偏微分方程的最优控制。AMS公司。
[29]	Quateroni A、Manzoni A和Negri F（2015）《偏微分方程的简化基方法：简介》，Springer Verlag。
[30]	Yarotsky D（2017）深度ReLU网络近似的误差界。神经网络94:103–114个doi：2016年10月10日/j.欧盟.2017.07.002