×
保罗·孔蒂;郭梦武;安德烈亚·曼佐尼;Hesthaven，Jan S。

使用长短期记忆网络的多精度代理建模。 （英语） Zbl 07644865号

计算。方法应用。机械。工程师。 404，文章ID 115811，第22页（2023）.
摘要：当评估依赖微分方程解的感兴趣量时，我们不可避免地要在准确性和效率之间进行权衡。特别是对于工程计算中的参数化、时间相关问题，通常情况下，可接受的计算预算限制了高保真、准确的仿真数据的可用性。多功能代理建模已成为克服这一困难的有效策略。它的关键思想是利用许多精度较低但计算速度快得多的低精度模拟数据，用有限的高保真数据改进近似值。在这项工作中，我们介绍了一种新的数据驱动框架，该框架使用长短期记忆（LSTM）网络对参数化的时间相关问题进行多保真度代理建模，增强对未知参数值的输出预测，并同时向前推进，这是一项已知对数据驱动模型特别具有挑战性的任务。我们证明了所提出的方法在各种工程问题中的广泛适用性，这些工程问题具有通过精细网格与粗网格、小时间步长与大时间步长或有限元全阶与深度学习降阶模型生成的高精度和低精度数据。数值结果表明，所提出的多保真LSTM网络不仅显著改善了单保真回归，而且性能优于基于前馈神经网络的多保真度模型。

引用于6文件

MSC公司：

92年XX月 生物学和其他自然科学
68倍 计算机科学

关键词：

机器学习;多保真回归;LSTM网络;参数化PDE;时间相关问题

软件：

Hyperopt公司;LSTM公司;张紧器2传感器;红色工具箱
PDF格式BibTeX公司 XML格式引用
\textit{P.Conti}等人，计算。方法应用。机械。Eng.404，文章ID 115811，22 p.（2023；Zbl 07644865）
全文： 内政部 arXiv公司

参考文献：

[1] Peherstorfer，B。；Willcox，K。；Gunzburger，M.，《不确定性传播、推理和优化中的多重性方法综述》，SIAM Rev.，60，3，550-591（2018）·Zbl 1458.65003号
[2] 奥哈根，A。；Kennedy，M.C.，当快速近似可用时预测复杂计算机代码的输出，Biometrika，87，1，1-13（2000）·Zbl 0974.62024号
[3] 阿尔瓦雷斯，文学硕士。；Rosasco，L。；Lawrence，N.D.，向量值函数的核：综述，发现。趋势马赫数。学习。，4, 3, 195-266 (2012) ·Zbl 1301.68212号
[4] Han，J。；Jentzen，A。；E、 W.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号
[5] 贝克，C。；Jentzen，A.，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，J.非线性科学。，29, 4, 1563-1619 (2019) ·Zbl 1442.91116号
[6] 贝克，N。；亚历山大，F。；Bremer，T。；哈格伯格，A。；Kevrekidis，Y。；纳吉姆，H。；Parashar，M。；帕特拉，A。；塞提安，J。；Wild，S.，《科学机器学习的基本研究需求研讨会报告：人工智能的核心技术》技术报告（2019年），USDOE科学办公室（SC）：USDOE美国华盛顿特区科学办公室
[7] 莱斯，M。；佩尔迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[8] Karniadakis，G.E。；Kevrekidis，I.G。；卢，L。；佩迪卡里斯，P。；王，S。；Yang，L.，《基于物理的机器学习》，《国家物理评论》。，3, 6, 422-440 (2021)
[9] 特劳雷，B.B。；Kamsu-Foguem，B。；Tangara，F.，用于图像识别的深度卷积神经网络，Ecol。通知。，48, 257-268 (2018)
[10] 冠军K。；Lusch，B。；库茨，J.N。；Brunton，S.L.，数据驱动的坐标和控制方程发现，Proc。国家。阿卡德。科学。，116, 45, 22445-22451 (2019) ·Zbl 1433.68396号
[11] Lee，K。；Carlberg，K.T.，使用深度卷积自编码器对非线性流形上动力系统的模型简化，J.Compute。物理。，404，第108973条pp.（2020）·Zbl 1454.65184号
[12] 弗雷斯卡，S。；戴德，L。；Manzoni，A.，基于深度学习的综合方法，用于非线性时间相关参数化PDE的降阶建模，J.Sci。计算。，87, 2, 1-36 (2021) ·Zbl 1470.65166号
[13] 弗雷斯卡，S。；Manzoni，A.，POD-DL-ROM：通过适当的正交分解增强基于深度学习的非线性参数化偏微分方程降阶模型，计算。方法应用。机械。工程，388，第114181条pp.（2022）·Zbl 1507.65181号
[14] 瓦斯瓦尼，A。；北沙泽尔。；北卡罗来纳州帕尔马。；Uszkoreit，J。；Jones，L。；A.N.戈麦斯。；凯撒，Ł。；我，Polosukhin，你所需要的就是注意力，高级神经信息处理。系统。，30 (2017)
[15] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 8, 1735-1780 (1997)
[16] Gers，F.A。；施密杜贝尔，J。；Cummins，F.，《学会遗忘：LSTM的连续预测》，神经计算。，12, 10, 2451-2471 (2000)
[17] 格雷夫斯，A。；费尔南德斯，S。；Schmidhuber，J.，用于改进音素分类和识别的双向LSTM网络，（人工神经网络国际会议（2005），Springer），799-804
[18] M.Sundermeyer，R.Schlüter，H.Ney，语言建模用LSTM神经网络，收录于：国际言语交际协会第十三届年会，2012年。
[19] X孟。；Karniadakis，G.E.，《从多保真数据中学习的复合神经网络：函数逼近和PDE逆问题的应用》，J.Compute。物理。，401 (2019)
[20] Motamed，M.，《用于不确定性量化的多保真神经网络替代采样方法》，《国际不确定性杂志》。数量。，10, 4 (2020) ·Zbl 1498.65012号
[21] Raissi先生。；Karniadakis，G.，深多保真度高斯过程（2016），arXiv:1604.07484
[22] 库塔哈尔，K。；普林，M。；达米亚努，A。；劳伦斯，N。；González，J.，《用于多保真度建模的深高斯过程》（2019），arXiv:1903.07320
[23] X孟。；Babaee，H。；Karniadakis，G.E.，《多精度贝叶斯神经网络：算法和应用》，J.Compute。物理。，438，第110361条pp.（2021）·Zbl 07505956号
[24] 演示，N。；斯特拉祖洛，M。；Rozza，G.，参数最优控制问题初步分析的扩展物理信息神经网络（2021），arXiv:2110.13530
[25] 宋，D.H。；Tartakovsky，D.M.，《多保真数据传输学习》（2021），arXiv:2105.00856
[26] 霍华德，A.A。；佩雷戈，M。；Karniadakis，G.E。；Stinis，P.，多保真深度运营商网络（2022），arXiv:2204.09157
[27] 卢，L。；佩斯托里，R。；约翰逊，S.G。；Romano，G.，高效学习偏微分方程并应用于纳米级热传输快速逆设计的多保真深度神经运算符（2022），arXiv:2204.06684
[28] Partin，L。；Geraci，G。；拉什迪，A。；埃尔德雷德，M.S。；Schiavazzi，D.E.，卷积编码器/解码器网络中的多保真数据融合（2022），arXiv:2205.05187·Zbl 07620357号
[29] Khairy，S。；Balaprakash，P.，控制变量的多保真强化学习（2022），arXiv:2206.05165
[30] 郭，M。；Manzoni，A。；Amendt，M。；康蒂，P。；Hesthaven，J.S.，使用人工神经网络的高保真度回归：参数相关输出量的有效近似，Comput。方法应用。机械。工程，389，第114378条pp.（2022）·Zbl 1507.65184号
[31] Lee，J。；Bahri，Y。；诺瓦克，R。；Schoenholz，S.S。；彭宁顿，J。；Sohl-Dickstein，J.，《作为高斯过程的深度神经网络》（2017），arXiv:1711.00165
[32] Guo，M.，关于将神经网络理解为高斯过程的简要说明（2021），arXiv:2107.11892
[33] M.Torzoni，A.Manzoni，S.Mariani，《民用结构的健康监测：基于高保真深度神经网络代理的MCMC方法》，载于：2021年第一届算法在线会议。
[34] 托佐尼，M。；Manzoni，A。；Mariani，S.，用于SHM中贝叶斯模型更新的深度神经网络、多保真代理模型方法，（结构健康监测欧洲研讨会（2023），Springer），1076-1086
[35] 郑，L。；Hedrick，T.L。；Mittal，R.，用于评估和优化扑翼飞行中机翼冲程空气动力学的多保真建模方法，J.流体力学。，721, 118-154 (2013) ·Zbl 1287.76257号
[36] Jain，M。；Brown，K。；Sadek，A.K.，《多精度递归行为预测》（2018），arXiv:1901.01831
[37] 日内瓦，N。；Zabaras，N.，《发现多忠实生成性深度学习湍流》。数据科学。，2, 4, 391-428 (2020)
[38] Bergstra，J。；Bardenet，R。；Y.本吉奥。；Kégl，B.，超参数优化算法，高级神经信息处理。系统。，24 (2011)
[39] Olah，C.，《理解LSTM网络》（2015年）
[40] Wikimedia Commons，C.，文件：长期短期记忆.svg-Wikimedia Commons，免费媒体存储库（2020年），（在线；2022年10月1日访问）
[41] Bergstra，J。；Yamins，D。；Cox，D.D.，《建立模型搜索科学：视觉架构数百维超参数优化》（第30届国际机器学习会议论文集第28卷）。第30届国际机器学习会议论文集——第28卷，ICML’13（2013），JMLR.org，115-123
[42] FitzHugh，R.，神经膜理论模型中的冲动和生理状态，生物物理学。J.，1，6，445-466（1961）
[43] Nagumo，J。；Arimoto，S。；Yoshizawa，S.，模拟神经轴突的主动脉冲传输线，Proc。IRE，50，10，2061-2070（1962）
[44] Pagani，S。；Manzoni，A。；Quarteroni，A.，用局部缩减基方法对心脏电生理学参数化问题进行数值近似，计算。方法应用。机械。工程，340，530-558（2018）·Zbl 1440.92003年
[45] 弗雷斯卡，S。；Manzoni，A。；Dedè，L。；Quarteroni，A.，《基于深度学习的心脏电生理学降阶模型》，PLoS One，15，10，文章e0239416 pp.（2020）
[46] 弗雷斯卡，S。；Manzoni，A.，通过基于深度学习的降阶模型实时模拟参数相关流体流动，流体，6，7（2021）
[47] Negri，F.，redbKIT 2.2版（2016年），http://redbkit.github.io/redbkit/
[48] Dietterich，T.G.，机器学习中的集成方法，（多分类器系统国际研讨会（2000），Springer），1-15
[49] Bergstra，J.，Hyperopt:Python中的分布式异步超参数优化（2013）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。