傅，R。;肖，D。;I.M.纳文。;方，F。;杨，L。;C·王。;Cheng，S。 采用自动编码器和自关注深度学习方法建立流体流动的非线性非侵入降阶模型。 （英语） Zbl 1524.76277号 国际期刊数字。方法工程。 124，第13号，3087-3111（2023）. 摘要：本文提出了一种新的非线性非侵入降阶模型（NL-NIROM），其性能优于传统的基于本征正交分解（POD）的降阶模型。这种改进是通过使用自动编码器（AE）和基于自我关注的深度学习方法实现的。这项工作的新颖之处在于，它使用堆叠自动编码器（SAE）网络将原始的高维动力系统投影到低维非线性子空间，并使用基于自关注的深度学习方法预测流体动力学。本文介绍了一种新的流体流动问题模型约简神经网络结构，以及一种基于POD和自注意机制的线性非侵入降阶模型（L-NIROM）。在NL-NIROM中，SAE网络将高维物理信息压缩为几个更小的表示形式，并在一个更小的潜在空间中表示。这些表示由SAE神经网络中间层的多个代码表示。然后，使用基于自关注的深度学习方法训练这些不同时间层次的代码来构造一组超曲面。基于自我注意的网络的输入是先前时间级别的代码，网络的输出是当前时间级别的代码。然后，SAE网络中的解码器层将当前时间级别的代码投射回原始的全空间。新模型NL-NIROM的功能通过两个测试用例进行了演示：流经圆柱体的流量和锁交换。结果表明，NL-NIROM比流行的基于POD的L-NIROM模型约简方法更准确。{©2023 John Wiley&Sons有限公司} 引用于1文件 MSC公司： 76平方米 谱方法在流体力学问题中的应用 关键词：自动编码器;深度学习;非侵入降阶模型;自我关注 PDF格式BibTeX公司 XML格式引用 \textit{R.Fu}等人，《国际数学家杂志》。方法工程124，No.13，3087--3111（2023；Zbl 1524.76277） 全文： DOI程序 参考文献： [1] HijaziS、StabileG、MolaA、RozzaG。湍流的数据驱动POD‐Galerkin降阶模型。计算物理杂志。2020;416:109513. ·Zbl 1437.76015号 [2] RudySH、BruntonSL、ProctorJL、Nathan KutzJ。数据驱动的偏微分方程发现。2017年科学进展；3（4）：e1602614。 [3] Vermeulen PTM，HeeminkAW。模型简化变分数据同化。2006年《月天气评论》；134(10):2888‐2899. [4] 曹毅、朱洁、罗姿、纳沃尼姆。使用适当的正交分解对热带太平洋上层海洋模型进行降阶建模。计算机数学应用。2006;52(8‐9):1373‐1386. ·Zbl 1161.86002号 [5] DaescuDN，NavonIM公司。4dvar数据同化中降阶的双加权方法。2008年《月天气评论》；136(3):1026‐1041. [6] tefnescuR，纳沃尼姆。adi隐式浅水方程模型的POD/DEIM非线性模型降阶。计算物理杂志。2013;237:95‐114. ·Zbl 1286.76106号 [7] 小D、方F、郑J、潘CC、NavonIM。基于机器学习的区域空气污染建模快速响应工具。Atmos Environ公司。2019;199:463‐473. [8] BennerP、GoyalP。多项式系统基于插值的模型降阶。SIAM科学计算杂志。2021;43（1）：A84‐A108·Zbl 1458.93041号 [9] 马提尼、哈斯顿B、罗扎格。粘性和无粘性参数化流动模型耦合的简化基近似。科学计算杂志。2018;74(1):197‐219. ·Zbl 1398.76116号 [10] BoncoraglioG，Farhat C，Bou‐Mosleh C。模型简化框架，采用新的主动子空间，用于线性化流固耦合约束优化问题。国际数理方法工程杂志2021；122(19):5450‐5481. [11] ChoiY、BoncoraglioG、AndersonS、AmsallemD、FarhatC。使用线性降阶模型数据库进行基于梯度的约束优化。计算物理杂志。2020;423:109787. ·Zbl 07508406号 [12] Peherstorfer B、GugercinS S、WillcoxK。数据驱动的简化模型构建与时域loewner模型。SIAM科学计算杂志。2017;39（5）：A2152‐A2178·Zbl 1448.65087号 [13] 阿拉（Alla）、格拉（GrässleC）、欣泽姆（HinzeM）。线性抛物方程最优控制中POD的后验快照位置。ESAIM：数学模型数值分析。2018;52(5):1847‐1873. ·Zbl 1417.49040号 [14] StykelT SonNT公司。基于插值的参数化电路方程模型降阶。高级计算数学。2015;41(5):1321‐1342. ·Zbl 1336.93037号 [15] HachtelC、Kerler‐BackJ、BartelA、GüntherM、StykelT。耦合场路系统的多速率dae/ode仿真和模型降阶。电气工程科学计算。施普林格；2018:91‐100. [16] tefnescuR，NoackBR，SanduA。模型简化和反演问题以及具有地球物理应用的数据同化。为纪念I.迈克尔·纳文75岁生日而发行的一期特刊。2016 [17] XieX、MohebujjamanM、RebholzLG、IliescuT。流体流动的数据驱动过滤降阶模型。SIAM科学计算杂志。2018;40（3）:B834‐B857·兹比尔1412.65158 [18] Xiao C、LeeuwenburghO、LinHX、HeeminkA。使用非侵入子域降阶模型有效估计数值模型中的空间变化参数。计算物理杂志。2021;424:109867. ·Zbl 07508472号 [19] CarlbergK、Farhat C、Cortial J、Amsallem D。非线性模型简化的gnat方法：在计算流体动力学和湍流中的有效实施和应用。计算物理杂志。2013;242:623‐647. ·Zbl 1299.76180号 [20] GrimbergS、FarhatC、TezaurR、Bou‐MoslehC。局部降阶基非线性petrov-galerkin降阶模型超降阶的网格采样和加权。国际数理方法工程杂志2021；122(7):1846‐1874. [21] SchlegelM，NoackBR。关于Galerkin模型的长期有界性。J流体力学。2015;765:325‐352. ·Zbl 1336.76014号 [22] OsthJ、NoackBR、KrajnovicS、BarrosD、BoreeJ。关于POD模型中非线性次尺度湍流项的必要性，例如艾哈迈德体上的高雷诺数流动。J流体力学。2014;747(5):518‐544. ·Zbl 1371.76085号 [23] 索伦森特区ChaturantabutS。通过离散经验插值进行非线性模型简化。SIAM J.科学。计算。2010;32:2737‐2764. ·Zbl 1217.65169号 [24] CarlbergK，Bou‐MoslehC，FarhatC。通过最小二乘Petrov-Galerkin投影和压缩张量近似有效地简化非线性模型。国际数值方法工程杂志2011；86(2):155‐181. ·Zbl 1235.74351号 [25] 梅格丽茨基·威尔考克斯。大型线性应用的模型简化。IFAC公告第2003卷；36(16):1387‐1392. [26] XiaoD，FangF，DuJ，等。使用混合有限元对对Navier-Stokes方程进行降阶建模的非线性Petrov-Galerkin方法。计算机方法应用机械工程2013；255:147‐157. ·Zbl 1297.76107号 [27] BarraultM、MadayY、Nguyen NC、PateraAT。“经验插值”方法：应用于偏微分方程的高效降基离散化。Compt Rend数学。2004;339(9):667‐672. ·Zbl 1061.65118号 [28] 索伦森特区ChaturantabutS。POD和DEIM在多孔介质中非线性混溶粘性指进降维中的应用。数学计算模型动态系统。2011;17(4):337‐353. ·Zbl 1302.76127号 [29] 索伦森特区ChaturantabutS。POD‐DEIM非线性模型降阶的状态空间误差估计。SIAM J数字分析。2012;50(1):46‐63. ·Zbl 1237.93035号 [30] XiaoD，FangF，BuchanAG，等。使用残差DEIM方法对Navier-Stokes方程进行非线性模型简化。计算物理杂志。2014;263:1‐18. ·兹比尔1349.76288 [31] XiaoD、FangF、BuchanAG、PainCC、NavonIM、MuggeridgeA。Navier-Stokes方程的非侵入式降阶模型。计算方法应用机械工程2015；293:522‐541. ·Zbl 1423.76287号 [32] WillcoxK，Peherstorfer B。基于非侵入投影的模型简化的数据驱动操作员推断。计算方法应用机械工程2016；306:196‐215. ·Zbl 1436.93062号 [33] RahmanSM、PawarS、SanO、RasheedA、IliescuT。准地转湍流的非侵入性降阶模拟框架。Phys Rev E.2019；100(5):053306. [34] KastM、GuoM、HesthavenJS。非线性问题降阶建模的非侵入多重性方法。计算方法应用机械工程2020；364:112947. ·兹比尔1442.65094 [35] MouC、KocB、SanO、RebholzLG、伊利斯库特。数据驱动的变分多尺度降阶模型。计算机方法应用机械工程2021；373:113470. ·Zbl 1506.65158号 [36] XiaoD、FangF、HeaneyCE、NavonIM、PainCC。流体流动非侵入降阶建模的区域分解方法。计算方法应用机械工程2019；354:307‐330. ·兹比尔1441.76074 [37] WangQ、HesshavenJS、RayD。使用人工神经网络对非定常流动进行非侵入式降阶建模，并应用于燃烧问题。计算物理杂志。2019;384:289‐307. ·Zbl 1459.76117号 [38] JacquierP、AbdedouA、DelmasV、Soula™maniA。使用具有不确定性的深度神经网络和适当的正交分解进行非侵入式降阶建模：应用于洪水建模。计算物理杂志。2021;424:109854. ·Zbl 07508459号 [39] AhmedSE、RahmanSM、SanO、RasheedA、NavonIM。非遍历流的内存嵌入非侵入降阶建模。物理流体。2019;31(12):126602. [40] LeeK，CarlbergKT公司。使用深度卷积自编码器对非线性流形上的动力学系统进行模型降阶。计算物理杂志。2020;404:108973. ·Zbl 1454.65184号 [41] PhillipsTRF、HeaneyCE、SmithPN、PainCC。基于自动编码器的特征值问题降阶模型，用于中子扩散。国际数理方法工程杂志2021；122(15):3780‐3811. [42] LeCunY、BengioY、HintonG。深度学习。自然。2015;521(7553):436‐444. [43] VamathevanJ、ClarkD、CzodrowskiP等。机器学习在药物发现和开发中的应用。Nat Rev药物光盘。2019;18(6):463‐477. [44] TagadePM、AdigaSP、PandianS、ParkMS、HariharanKS、KolakeSM。基于深度学习贝叶斯框架的属性驱动逆向材料设计。2019;5(1):1‐14. [45] TranD、NguyenH、TranB、La VecchiaC、LuuHN、NguienT。使用分层自动编码器进行快速准确的单细胞数据分析。国家公社。2021;12(1):1‐10. [46] PinW、GongS、PanK、QiuF、FengW、PainC。使用具有自我注意的卷积自动编码器的降阶模型。物理流体。2021;33(7):077107. [47] WiewelS、BecherM、ThuereyN。潜在空间物理学：学习流体流动的时间演变。计算机图形论坛。第38卷。威利在线图书馆；2019:71‐82. [48] KadeethumT、BallarinF、ChoiY、O'MalleyD、YoonH、BouklasN。使用卷积自编码器对多孔介质中自然对流进行非侵入性降阶建模：与线性子空间技术的比较。Adv Water Resour公司。2022;160:104098. [49] MojganiR，BalajewiczM。对流占优pde的低秩基于注册的流形。AAAI人工智能会议记录，第35卷。2021 399-407. [50] KimY、DentonC、HoangL、RushAM。结构化注意力网络。arXiv预打印arXiv:1702.00887。2017 [51] 班吉奥·乔克·巴达瑙。神经机器翻译通过联合学习对齐和翻译。arXiv预打印arXiv:1409.0473。2014 [52] WestonJ、ChopraS、BordesA。内存网络。arXiv预打印arXiv:1410.3916。2014 [53] IttiL、KochC、NieburE。用于快速场景分析的基于显著性的视觉注意模型。IEEE Trans-Pattern Ana Mach Intell公司。1998;20(11):1254‐1259. [54] PhanH、Le NguyenH、ChénOY等。语音增强的自我注意生成对抗网络。论文发表于：ICASSP 2021‐2021 IEEE国际声学、语音和信号处理会议（ICASSP），IEEE。2021 7103-7107. [55] ZhaoH、JiaJ、KoltunV。探索图像识别的自我注意。IEEE/CVF计算机视觉和模式识别会议论文集。2020 10076-10085. [56] WaswaniA、ShazeerN、ParmarN等。注意力就是你所需要的。以NIPS为单位。2017 [57] DevlinJ、ChangM‐W、LeeK、ToutanovaK。Bert：深度双向转换器的预训练，用于语言理解。arXiv预打印arXiv:1810.04805。2018 [58] XiaoD、FangF、PainC、HuG。基于RBF插值的Navier-Stokes方程的非侵入降阶建模。国际J数值方法流体。2015;79(11):580‐595. ·Zbl 1455.76099号 [59] WangZ、XiaoD、FangF、GovindanR、PainCC、GuoY。基于深度学习的降阶流体动力学系统模型辨识。国际J数值方法流体。2018;86(4):255‐268. [60] 伦敦帝国理工学院AMCG。流动性手册v4.1.12。2015 [61] 郭美华，田兴X，刘建杰，等。计算机视觉中的注意机制：一项调查。计算可视媒体。2022;8:331‐368. [62] LiuQ，LiuT，CaiY，等。交通拥堵传播模式的解释性预测：基于自我注意的方法。物理A：统计力学应用。2021;573:125940. [63] 张毅、宾克斯、赵特。卷积多头记忆自我关注，用于方面情感分类。IEEE/CAA J自动化标准。2020;7(4):1038‐1044. [64] YiJ、TaoJ。使用单词和语音嵌入的基于自我注意的标点预测模型。论文发表于：ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议（ICASSP），IEEE。2019 7270-7274. [65] KazemiSM、GoelR、EghbaliS等人。Time2vec：学习时间的矢量表示。arXiv预印arXiv:1907.05321。2019 [66] BaJL、KirosJR、HintonGE。层规范化。arXiv预打印arXiv:1607.06450。2016 [67] Dunhui XiaoCE，HeaneyLM，FangF等。使用机器学习的城市环境中湍流的降阶模型。营造环境。2019;148:323‐337. [68] PainCC、PiggotMD、GoddardAJH等。三维非结构化网格海洋建模。海洋模型。2005;10(1‐2):5‐33. [69] ShinJO、DalzielSB、LindenPF。船闸交换产生的重力流。J流体力学。2004;521:1‐34. ·兹比尔1065.76037 [70] JinlongF，XiaoD，RuiF，等。小数据状态下非线性动力系统参数降阶建模的物理-数据组合机器学习。计算方法应用机械工程2023；404:115771. ·Zbl 07644844号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。