×
雷米·阿布格雷尔;玛丽亚·汉·维加

基于神经网络的传输学习限制器。 （英语） Zbl 1524.65699号

公社。申请。数学。计算。 5，第2期，532-572（2023年）.
摘要：最近的工作表明，神经网络是各种数值格式的无参数限制器[N.R.摩根等人，“用高阶流体动力学方法检测冲击的机器学习方法”，载于：2020年1月6日至10日，佛罗里达州奥兰多，AIAA科学技术论坛论文集。弗吉尼亚州雷斯顿：美国航空航天研究所（AIAA）。文章ID 2020-2024（2020；doi:10.2514/6.2020-2024);D.雷和J.S.赫塞文，J.计算。物理学。367, 166–191 (2018;Zbl 1415.65229号);M.H.Veiga先生和A.阿布格莱尔，“使用多层感知器神经网络实现守恒定律的一般稳定方法：一维标量和方程组”，载于：第六届欧洲计算力学会议（固体、结构和耦合问题）（ECCM 6）和第七届欧洲计算流体动力学会议（ECFD 7），格拉斯哥，2018年6月11日至15日。西班牙巴塞罗那：国际工程数值方法中心（CIMNE）。第15页（2018年；doi:10.5167/uzh-168538)]. 根据这一趋势，我们利用Runge-Kutta非连续Galerkin（RKDG）方法和模态高阶限制器的模拟数据，训练一个神经网络作为激波诱导函数[克里夫多诺娃（L.Krivodonova），J.计算。物理学。226，第1期，879–896（2007年；Zbl 1125.65091号)]. 利用这种方法，我们获得了一维和二维黑盒激波诱导器，然后将其耦合到标准限制器。此外，我们还描述了一种策略，通过在一维和二维问题中，以及在笛卡尔网格和非结构化网格上找到从RD方案到RKDG方案的解特征空间之间的映射，将激波诱导器转换为残差分布（RD）方案，而无需完整的训练周期和大型数据集。我们报告了在RKDG和RD方案中使用与限制器耦合的神经网络激波诱导器时数值解的质量，并将其性能与传统限制器进行了比较。

引用于4文件

MSC公司：

65M99型 偏微分方程、初值和含时初边值问题的数值方法
65日元 数值算法的封装方法
65年20月 数值算法的复杂性和性能
68T07型 人工神经网络与深度学习
35卢比 图和网络（分支或多边形空间）上的PDE
65升06 常微分方程的多步、Runge-Kutta和外推方法
65M60毫米 涉及偏微分方程初值和初边值问题的有限元、Rayleigh-Ritz和Galerkin方法

关键词：

限制器;神经网络;迁移学习;领域适应

引文：

Zbl 1415.65229号;Zbl 1125.65091号

软件：

亚当;ImageNet公司;github;AlexNet公司
PDF格式BibTeX公司 XML格式引用
\textit{R.Abgrall}和\textit{M.Han Veiga}，Commun。申请。数学。计算。5，编号2，532--572（2023；Zbl 1524.65699）
全文： DOI程序 arXiv公司

参考文献：

[1] Abgrall，R.，《剩余分配方案：现状和未来趋势》，计算。流体，35，7，641-669（2006）·兹比尔1177.76205 ·doi:10.1016/j.compfluid.2005.01.007
[2] Abgrall，R。；Bacigaluppi，P。；Tokareva，S.，含时Euler流体动力学方程的高阶剩余分布格式，计算。数学。申请。，78, 2, 274-297 (2019) ·Zbl 1442.65245号 ·doi:10.1016/j.camwa.2018.05.009
[3] Bacigaluppi，P.，Abgrall，R.，Tokareva，S.：气体动力学中流体流动瞬态模拟的“后验”有限高阶和稳健残差分布方案。arXiv:1902.07773（2019）·Zbl 07652785号
[4] Beck，A.，Zeifang，J.，Schwarz，A.，Flad，D.：一种用于不连续伽辽金方法的基于神经网络的冲击检测和定位方法（2020）。doi:10.13140/RG.2.2.20237.90085·Zbl 07508429号
[5] Bergstra，J.、Yamins，D.、Cox，D.：建立模型搜索科学：视觉架构的数百维超参数优化。摘自：Dasgupta，S.，McAllester，D.（eds.）《第30届机器学习国际会议论文集》，《机器学习研究论文集》第28卷，第115-123页。PMLR，亚特兰大（2013）。http://proceedings.mlr.press/v28/bergstra13.html
[6] 比斯瓦斯，R。；迪瓦恩，KD；Flaherty，JE，守恒定律的并行自适应有限元方法，应用。数字。数学。，14, 1, 255-283 (1994) ·Zbl 0826.65084号 ·doi:10.1016/0168-9274（94）90029-9
[7] 博图，L。；柯蒂斯，F。；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60，2，223-311（2018）·Zbl 1397.65085号 ·doi:10.1137/16M1080173
[8] 伯曼，E。；Fernández，MA，含时navier-stokes方程的连续内罚有限元方法：空间离散化和收敛，数值。数学。，107, 1, 39-77 (2007) ·Zbl 1117.76032号 ·doi:10.1007/s00211-007-0070-5
[9] Clain，S。；迪奥，S。；卢布埃，R。；Fořt，J。；Fürst，J。；哈拉玛，J。；赫宾，R。；Hubert，F.，多维最优阶检测（mood）-非结构化网格上守恒定律的一种非常高阶有限体积格式，复杂应用的有限体积VI问题与展望，263-271（2011），柏林：斯普林格，柏林·兹比尔1246.76073 ·doi:10.1007/978-3-642-20671-9_28
[10] Cockburn，B.，Shu，C.W.：守恒定律的TVB Runge-Kutta局部投影间断Galerkin有限元方法II：一般框架。数学。计算。52(186), 411-435 (1989). http://www.jstor.org/stable/2008474 ·Zbl 0662.65083号
[11] Cockburn，B。；Shu，CW，守恒定律的Runge-Kutta间断Galerkin方法v，J.计算。物理。，141, 2, 199-224 (1998) ·Zbl 0920.65059号 ·doi:10.1006/jcph.1998.5892
[12] Cohen，T.S.，Geiger，M.，Weiler，M.：齐次空间上等变CNN的一般理论。摘自：Wallach，H.、Larochelle，H.，Beygelzimer，A.、Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）《神经信息处理系统进展》32，第9145-9156页。Curran Associates，Inc.（2019年）。http://papers.nips.cc/paper/9114-a-general-theory of equivalent-cnns-on-homogeneous-spaces.pdf
[13] Cohen，T.S.，Weiler，M.，Kicanaoglu，B.，Welling，M.：规范等变卷积网络和二十面体CNN。arXiv:1902.04615（2019）
[14] Dafermos，C.：连续统物理学中的双曲守恒定律。Grundlehren der mathematischen Wissenschaften公司。施普林格，柏林（2009）。https://books.google.com/books？id=49bXK26O_b4C
[15] Github存储库。https://github.com/hanveiga/1d-dg-nn
[16] Goodfellow，I.，Bengio，Y.，Courville，A.：深度学习。麻省理工学院出版社（2016）。http://www.deeplearningbook.org ·Zbl 1373.68009号
[17] Gottlieb，S.，关于保持高阶强稳定性的Runge-Kutta和多步时间离散，J.Sci。计算。，25, 1, 105-128 (2005) ·Zbl 1203.65166号 ·doi:10.1007/BF02728985
[18] Harten，A.，Lax，P.D.：关于一类高分辨率全变量稳定有限差分格式。SIAM J.数字。分析。21(1), 1-23 (1984). http://www.jstor.org/stable/2157043 ·Zbl 0547.65062号
[19] He，Y.等人：移动设备的流式端到端语音识别。2019年IEEE声学、语音和信号处理国际会议（ICASSP），第6381-6385页（2019年）。doi:10.1109/ICASSP.2019.8682336
[20] Hoens，TR；内华达州Chawla，《不平衡数据集：从采样到分类器》（2013），纽约：威利·数字对象标识代码：10.1002/9781118646106.ch3
[21] Kingma，D.P.，Ba，J.：亚当：一种随机优化方法。ICLR（2015）。arXiv:abs/1412.6980
[22] Krivodonova，L.，高阶间断Galerkin方法的限制器，J.Compute。物理。，226, 879-896 (2007) ·Zbl 1125.65091号 ·doi:10.1016/j.jcp.2007.05.011
[23] Krizhevsky，A.，Sutskever，I.，Hinton，G.E.：使用深度卷积神经网络进行ImageNet分类。摘自：《第25届神经信息处理系统国际会议论文集》，第1卷，第1097-1105页。Curran Associates Inc.，美国（2012年）。http://dl.acm.org/citation.cfm？id=2999134.2999257
[24] Kurganov，A.，Tadmor，E.：在没有Riemann问题求解器的情况下求解气体动力学的二维Riemann-问题。偏微分方程的数值方法18（5），584-608（2002）。doi:10.1002/num.10025·Zbl 1058.76046号
[25] Lax，PD，非线性双曲方程的弱解及其数值计算，Commun。纯应用程序。数学。，159-193年7月1日（1954年）·兹比尔0055.19404 ·doi:10.1002/cpa.3160070112
[26] Mhaskar，H.，Liao，Q.，Poggio，T.A.：深层网络何时以及为什么优于浅层网络？收录于：AAAI，第2343-2349页（2017年）
[27] Mikolajczyk，A.，Grochowski，M.：用于改进图像分类问题中的深度学习的数据增强。参见：2018年国际跨学科博士研讨会（IIPhDW），第117-122页（2018）
[28] Morgan，N.R.，Tokareva，S.，Liu，X.，Morgan（A.）：用高阶流体力学方法检测冲击的机器学习方法。doi:10.2514/6.2020-2024
[29] Petersen，P.，Voigtlaender，F.：使用深度ReLU神经网络对分段光滑函数进行最佳逼近。arxiv:1709.05289（2017）·Zbl 1434.68516号
[30] Prechelt，L.：提前停止——但什么时候？收录：Montavon G.、Orr G.B.、Müller K.R.（编辑）《神经网络：贸易的诡计》。计算机科学讲义，第7700卷，第53-67页，施普林格，柏林，海德堡（2012）
[31] 雷·D。；Hesthaven，JS，《作为故障细胞指示器的人工神经网络》，J.Compute。物理。，367, 166-191 (2018) ·Zbl 1415.65229号 ·doi:10.1016/j.jcp.2018.04.029
[32] 里奇乌托，M。；Abgrall，R.，时间相关问题的显式Runge-Kutta残差分布方案：二阶情形，J.Compute。物理。，229, 16, 5653-5691 (2010) ·Zbl 1195.65133号 ·doi:10.1016/j.jcp.2010.04.002
[33] 里奇乌托，M。；Abgrall，R。；Deconck，H.，保守残差分布格式在非结构化网格上浅水方程求解中的应用，J.Comput。物理。，222, 1, 287-331 (2007) ·Zbl 1216.76051号 ·doi:10.1016/j.jcp.2006.06.024
[34] Rojas，R.：宽度为一的网络是通用分类器。见：《国际神经网络联合会议记录》，第4卷，第3124-3127页（2003年）。doi:10.1109/IJCNN.2003.1224071
[35] Rojas，R.：最深层的神经网络。arxiv:1707.02617（2017）
[36] 沙尔，K。；Bauer，A。；Chandrashekar，P。；帕克莫尔，R。；Klingenberg，C.公司。；Springel，V.，《高阶间断Galerkin格式和自适应网格细化的天体物理流体动力学》，Mon。不是。R.阿斯顿。Soc.，453，4，4278-4300（2015）·doi:10.1093/mnras/stv1859
[37] Snyman，J.：实用数学优化：基本优化理论和经典及新的基于梯度的算法简介。应用优化。施普林格，纽约（2005年）。https://books.google.ch/books？id=0tFmf_UKl7oC ·Zbl 1104.90003号
[38] Sutskever，I。；Hinton，GE，Deep，窄sigmoid信念网络是通用逼近器，神经计算。，20, 11, 2629-2636 (2008) ·Zbl 1161.68046号 ·doi:10.1162/neco.2008.12-07-661
[39] Sutskever，I.，Vinyals，O.，Le，Q.V.：神经网络的序列到序列学习。摘自：第27届神经信息处理系统国际会议记录第2卷，第3104-3112页。麻省理工学院出版社，剑桥（2014）。http://dl.acm.org/citation.cfm？id=2969033.2969173
[40] Veiga，M.H.，Abgrall，R.：使用多层感知器神经网络实现守恒定律的一般稳定方法：一维标量和方程组。参见：欧洲计算力学会议和第七届欧洲计算流体动力学会议，第1卷，第2525-2550页（2018年）。doi:10.5167/uzh-168538
[41] Vilar，F.，通过子单元有限体积公式和通量重建对高阶间断Galerkin格式进行后验修正，J.Compute。物理。，387, 245-279 (2019) ·Zbl 1452.65251号 ·doi:10.1016/j.jcp.2018.10.050
[42] 魏斯，KR；科什戈夫塔尔，TM；Wang，D.，迁移学习调查，J.大数据，3，1-40（2016）·doi:10.1186/s40537-016-0043-6
[43] Xu，B.，Wang，N.，Chen，T.，Li，M.：卷积网络中校正激活的实证评估。CoRR（2015）。arXiv:abs/1505.00853
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。