×
Kang，Shinhoo先生；Emil M.康斯坦丁斯库。

用神经常微分方程学习亚脊尺度模型。 （英语） Zbl 1521.65059号

计算。流体 261，文章ID 105919，15 p.（2023）.
摘要：我们提出了一种基于神经常微分方程（NODEs）的新方法，用于在模拟用直线法求解的偏微分方程（PDE）及其在混沌常微分方程中的表示时学习亚脊尺度模型。求解具有精细时空网格尺度的系统是一个持续的计算挑战，闭合模型通常很难调整。机器学习方法提高了计算流体动力学求解器的准确性和效率。在这种方法中，神经网络用于学习粗网格到细网格的映射，可以将其视为次网格参数化。我们提出了一种使用NODE和部分知识在连续水平上学习源动力学的策略。我们的方法继承了NODE的优点，可用于参数化子网格尺度、近似耦合算子，并提高低阶解算器的效率。用两尺度Lorenz 96常微分方程、对流扩散偏微分方程和粘性Burgers偏微分方程的数值结果来说明这种方法。

MSC公司：

65升05 常微分方程初值问题的数值方法

关键词：

神经常微分方程；机器学习；加快；联轴器；Lorenz洛伦兹96；间断伽辽金法

软件：

FFJORD公司；亚当；日本宇宙航空公司；PyTorch公司；火炬差异；火炬；神经CDE
PDF格式BibTeX公司 XML格式引用
\textit{S.Kang}和\textit{E.M.Constantinescu}，计算。液体261，物品ID 105919，15 p.（2023；Zbl 1521.65059）
全文： 内政部 arXiv公司

参考文献：

[1] 鲍尔，P。；索普，A。；Brunet，G.，《数值天气预报的安静革命》，《自然》，525，7567，47-55（2015）
[2] 洪，S.-Y。；Dudhia，J.，《下一代数值天气预报：桥接参数化、显式云和大漩涡》，Bull Am Meteorol Soc，93，1，ES6-ES9（2012）
[3] Irrgang，C。；北卡罗来纳州波尔斯。；Sonnewald，M。；巴恩斯，E.A。；卡多，C。；斯坦尼娃，J。；Saynisch-Wagner，J.，《通过在地球系统科学中集成人工智能实现神经-地球系统建模》，《Nat Mach Intell》，第3期，第8期，第667-674页（2021年）
[4] O·富兰克林。；哈里森，S.P。；杜瓦，R。；Farror，C.E。；Brännström，A.k。；Dieckmann，美国。；Pietsch，S。；Falster，D。；克莱默，W。；Loreau，M.，《植被动态组织原则》，《自然植物》，6，5，444-453（2020）
[5] 施耐德，T。；Teixeira，J。；Bretherton，C.S。；Brient，F。；Pressel，K.G。；Schär，C。；Siebesma，A.P.，《气候目标与云的未来计算》，《自然气候变化》，第7、1、3-5页（2017年）
[6] 霍尼克，K。；Stinchcombe，M。；White，H.，使用多层前馈网络对未知映射及其导数的通用近似，神经网络，3，5，551-560（1990）
[7] 博尔顿，T。；Zanna，L.，深度学习在海洋数据推断和子网格参数化中的应用，J Adv建模地球系统，11，1376-399（2019）
[8] 北卡罗来纳州布伦诺维茨。；Bretherton，C.S.，通过粗粒度训练的神经网络参数化的空间扩展测试，《高级建模地球系统杂志》，11，8，2728-2744（2019）
[9] Rasp，S。；Pritchard，M.S。；Gentine，P.，《深入学习在气候模型中表示亚网格过程》，《国家科学院学报》，115，39，9684-9689（2018）
[10] Rasp，S.，《耦合在线学习作为处理神经网络参数化中不稳定性和偏差的一种方法：通用算法和Lorenz 96案例研究（v1.0）》，Geosci Model Dev，13，5，2185-2196（2020）
[11] Lorenz EN公司。可预测性：问题部分解决。In：程序。可预测性研讨会。1996年，第1-18页。
[12] Manrique de Lara，F。；Ferrer，E.，使用神经网络加速高阶非连续Galerkin解算器：1D Burgers方程，计算与流体，235，文章105274 pp.（2022）·Zbl 1521.76325号
[13] Manrique de Lara，F。；Ferrer，E.，使用神经网络加速高阶非连续Galerkin解算器：3D可压缩Navier-Stokes方程（2022），物理学。Flu-Dyn公司·Zbl 1521.76325号
[14] 黄，Z。；Liang，S。；张，H。；Yang，H。；Lin，L.，通过NeurVec（2022）加速动力学系统大规模模拟的数值求解器，Cs。总工程师
[15] Chen，R.T。；Rubanova，Y。；Bettencourt，J。；Duvenaud，D.K.，神经常微分方程，Adv Neural Inf Process Syst，31（2018）
[16] 何凯，张旭，任S，孙J.图像识别的深度残差学习。收录：IEEE计算机视觉和模式识别会议论文集。2016年，第770-8页。
[17] Avelin，B。；Nyström，K.，神经ODE作为恒定权重ResNets的深度极限，Ana Appl，19，03，397-437（2021）·Zbl 07362267号
[18] 古普塔，R。；Srijith，P。；Desai，S.，使用神经常微分方程进行星系形态分类，Astron Compute，38，第100543页，（2022）
[19] Rubanova Y，Chen RT，Duvenaud D.不规则采样时间序列的潜在ODE。内容：神经信息处理系统进展，2019年。2019
[20] Dormand，J.R。；Prince，P.J.，嵌入式Runge-Kutta公式家族，《计算应用数学杂志》，6，1，19-26（1980）·Zbl 0448.65045号
[21] Pontryagin，L.S.，《优化过程的数学理论》（1987），CRC出版社
[22] Grathwohl W，Chen RT，Bettencourt J，Sutskever I，Duvenaud D.FFJORD：可扩展可逆生成模型的自由形式连续动力学。在：2019年国际学习表征大会。2019
[23] 庄，J。；德沃内克，N。；李，X。；Tatikonda，S。；帕帕德米特里，X。；Duncan，J.，神经ODE中梯度估计的自适应检查点伴随方法，（机器学习国际会议（2020），PMLR），11639-11649
[24] 庄，J。；北卡罗来纳州德沃内克。；Tatikonda，S。；Duncan，J.S.，MALI：神经ODE的记忆高效和反向精确积分器（2021），Cs。LG公司
[25] Nguyen，T.M。；加格，A。；巴拉纽克，R.G。；Anandkumar，A.，InfoCNF：具有自适应解算器的高效条件连续规范化流（2019），Cs。LG公司
[26] Kidger，P。；Morrill，J。；福斯特，J。；Lyons，T.，不规则时间序列的神经控制微分方程，Adv Neural Inf Process Syst，33，6696-6707（2020）
[27] 卢，A。；Lim，D。；凯茨曼，I。；黄，L。；江，Q。；Lim，S.N。；De Sa，C.M.，神经流形常微分方程，Adv Neural Inf Process Syst，33，17548-17558（2020）
[28] Rackauckas，C。；马云（Ma，Y.）。；Martensen，J。；华纳，C。；Zubov，K。；苏佩卡，R。；斯金纳，D。；A.拉马丹。；Edelman，A.，《科学机器学习的通用微分方程》（2021），Cs。LG公司
[29] Shankar，V。；普里，V。；Balakrishnan，R。；Maulik，R。；Viswanathan，V.，《汉堡湍流的可差分物理启用闭合模型》，《马赫学习：科学技术》，第4期，第015017页，（2023）
[30] 帕斯克，A。；毛重，S。；马萨，F。；Lerer，A。；布拉德伯里，J。；Chanan，G。；基林，T。；林，Z。；Gimelshein，N。；Antiga，L.，PyTorch:一个命令式、高性能的深度学习库，Adv Neural Inf Process Syst，32（2019）
[31] 芬利，C。；雅各布森，J.-H。；Nurbekyan，L。；Oberman，A.，《如何训练神经ODE：雅可比和动力学正则化的世界》，（机器学习国际会议（2020），PMLR），3154-3164
[32] Anumasa S，Srijith P.提高神经常微分方程的鲁棒性和不确定性建模。在：IEEE/CFF计算机视觉应用冬季会议论文集。2021年，第4053-61页。
[33] Djeumou，F。；Neary，C。；Goubault，E。；推杆，S。；Topcu，U.，Taylor-Lagrange神经常微分方程：神经节点的快速训练和评估（2022），Cs。LG公司
[34] Nair V，Hinton GE。校正的线性单元改进了受限的Boltzmann机器。摘自：第27届机器学习国际会议论文集。2010年，第807-14页。
[35] Carlu，M。；Ginelli，F。；卢卡里尼，V。；Politi，A.，多尺度动力学的Lyapunov分析：两尺度Lorenz 96模型的慢束，非线性过程。地球物理学。，26, 2, 73-89 (2019)
[36] Linot，A.J。；Burby，J.W。；唐，Q。；巴拉普拉卡什，P。；医学博士格雷厄姆。；Maulik，R.，用于动力系统长期预测的稳定神经常微分方程，《计算物理杂志》，474，第111838页，（2023）·Zbl 07640581号
[37] 赫瑟文，J.S。；Warburton，T.，节点不连续伽辽金方法：算法、分析和应用（2007），施普林格科学与商业媒体
[38] 布拉德伯里，J。；弗罗斯蒂格，R。；霍金斯，P。；约翰逊，M.J。；Leary，C。；麦克劳林（D.Maclaurin）。；花蜜，G。；帕斯克，A。；范德普拉斯，J。；Wanderman-Millne，S。；Zhang，Q.，JAX:Python+NumPy程序的可组合转换（2018）
[39] Kidger，P.，《关于神经微分方程》（2022），Cs。LG公司
[40] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），Cs。LG公司
[41] 博奎特，M。；Brajard，J。；卡拉西。；Bertino，L.，通过合并数据同化、机器学习和期望最大化对混沌动力学进行贝叶斯推断，《发现数据科学》，2，1，55-80（2020）
[42] Tsitouras，C.，仅满足第一列简化假设的5（4）阶Runge-Kutta对，《计算数学应用》，62，2，770-775（2011）·Zbl 1228.65113号
[43] 庄，J。；Tang，T。；丁，Y。；南卡罗来纳州塔蒂孔达。；德沃内克，N。；帕帕德米特里，X。；Duncan，J.，Adafice优化器：通过对观察到的梯度的信念来调整步长，Adv Neural Inf Process Syst，3318795-18806（2020）
[44] Love，M.，《伯格方程的子网格建模研究》，《流体力学杂志》，100，1，87-110（1980）·Zbl 0441.76022号
[45] Basu，S.，亚脊尺度模型的动态涡流粘度类能否捕获Burgers湍流的惯性范围特性？，J Turbul，10，N12（2009）·Zbl 1273.76183号
[46] 美国弗里希。；Bec，J.，Burgulence，（湍流湍流的新趋势：新动向：2000年7月31日至9月1日（2002），Springer），341-383·Zbl 1309.76114号
[47] LaBryer，A。；阿塔尔，P。；Vedula，P.，基于时空统计信息的伯格湍流大涡模拟框架，《物理流体》，27，3，第035116页，（2015）
[48] 圣马力诺。；Maulik，R.，非线性模型降阶的神经网络闭包，Adv Comput Math，4411717-1750（2018）·Zbl 1404.37101号
[49] 贝克·J。；Khanin，K.，《伯格湍流》，《物理学代表》，447，1-2，1-66（2007）
[50] Maulik，R。；San，O.，《Burgers湍流的显式和隐式LES闭包》，《计算应用数学杂志》，327，12-40（2018）·Zbl 1451.76063号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。