×
森本正木;Kai Fukami;罗密特·莫利克;里卡多·维努萨;富加达，Koji

使用高斯随机加权平均进行流体流量回归的认知不确定性评估。 （英语） Zbl 07599644号

物理D 440，文章ID 133454，16 p.（2022）.
摘要：我们使用高斯随机加权平均（SWAG）评估与流体流动相关的基于神经网络的函数近似相关的认知不确定性。SWAG近似每个权重的后验高斯分布，给定训练数据和恒定的学习速率。获得此分布后，它可以创建具有各种采样权重组合的多个模型，这些模型可用于获得集合预测。这种集合的平均值可以被视为“平均估计”，而其标准偏差可以用于构建“置信区间”，这使我们能够对神经网络的训练过程进行不确定性量化（UQ）。我们将典型的基于神经网络的函数逼近任务用于以下情况：（i）二维圆柱尾迹；（ii）DayMET数据集（北美最高日温度）；（iii）三维方柱尾迹；以及（iv）城市流量，以评估当前想法在广泛的复杂数据集中的可推广性。基于SWAG的UQ可以应用于任何网络结构，因此，我们证明了该方法对两类神经网络的适用性：（i）通过结合卷积神经网络（CNN）和多层感知器（MLP）从稀疏传感器进行全局场重建；以及（ii）利用二维CNN从截面数据进行远场状态估计。我们发现SWAG可以从认知不确定性的角度获得物理上可解释的置信区间估计。这种能力支持将其用于科学和工程领域的广泛问题。

引用于1文件

MSC公司：

68倍 计算机科学
92至XX 生物学和其他自然科学

关键词：

神经网络;机器学习;不确定性量化;流体流动

软件：

达奇;亚当
PDF格式BibTeX公司 XML格式引用
\textit{M.Morimoto}等人，Physica D 440，文章ID 133454，16 p.（2022；Zbl 07599644）
全文： DOI程序 arXiv公司

参考文献：

[1] Brunton，S.L。；Noack，B.R。；Koumoutsakos，P.，《流体力学的机器学习》，年。流体力学版次。，52, 477-508 (2020) ·Zbl 1439.76138号
[2] Taira，K。；赫马蒂，M.S。；Brunton，S.L。；孙，Y。；Duraisamy，K。；Bagheri，S。；道森，S。；Yeh，C.-A.，《流体流动的模态分析：应用与展望》，AIAA J.，58，3，998-1022（2020）
[3] Duraisamy，K.，《机器学习视角——增强的雷诺平均湍流和大涡模拟模型》，Phys。《流体》第6版，第050504条，pp.（2021）
[4] Brunton，S.L。；赫马蒂，M.S。；Taira，K.，《流体动力学中的机器学习和数据驱动方法专刊》，Theor。计算。流体动力学。，34, 333-337 (2020)
[5] 字体B。；G.D.韦茅斯。；Nguyen，V.-T。；Tutty，O.R.，《纵向平均navier-stokes方程的深度学习》，J.Compute。物理。，434，第110199条pp.（2021）·Zbl 07508518号
[6] Nakamura，T。；Fukami，K。；Fukagata，K.，识别流体流动回归的线性随机估计和神经网络之间的关键差异，科学。代表，12，1，1-10（2022年）
[7] Güemes，A。；Discetti，S。；艾尼罗，A。；Sirmacek，B。；阿齐兹普尔，H。；Vinuesa，R.，《通过深度学习从粗糙壁测量到湍流速度场》，《物理学》。流体，33，第075121条pp.（2021）
[8] 埃里克森，N.B。；马瑟林，L。；姚，Z。；Brunton，S.L。；马奥尼，M.W。；Kutz，J.N.，用有限传感器重建流体流动的浅层神经网络，Proc。皇家学会，2238（2020）·Zbl 1472.68172号
[9] Fukami，K。；Maulik，R。；北卡罗来纳州拉马钱德拉。；Fukagata，K。；Taira，K.，《利用voronoi细分辅助深度学习从稀疏传感器重建全局场》，Nat.Mach。智力。，3, 945-951 (2021)
[10] Fukami，K。；Fukagata，K。；Taira，K.，用机器学习超分辨率重建湍流，J.流体力学。，870, 106-120 (2019)
[11] Kim，J。；Lee，C.，《不同雷诺数下流入生成湍流的深度无监督学习》，J.Compute。物理。，406，第109216条pp.（2020）
[12] Fukami，K。；Fukagata，K。；Taira，K.，基于机器学习的湍流时空超分辨率重建，J.流体力学。，909，A9（2021）·Zbl 1461.76306号
[13] 邓，Z。；他，C。；刘，Y。；Kim，K.C.，使用基于生成性对抗网络的人工智能框架超分辨率重建湍流速度场，Phys。流体，31，第125111条pp.（2019）
[14] 高，H。；Sun，L。；Wang，J.-X.，使用无高分辨率标签的基于物理信息的卷积神经网络对流体流动进行超分辨率和去噪，Phys。液体，33，073603（2021）
[15] Guastoni，L。；Güemes，A。；艾尼罗，A。；Discetti，S。；施拉特，P。；阿齐兹普尔，H。；Vinuesa，R.，《从壁面量预测壁面湍流的卷积网络模型》，《流体力学杂志》。，928，A27（2021）
[16] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，8622278-2324（1998年）
[17] Salehipour，H。；Peltier，W.R.，《分层湍流的两个“原子”混合的深度学习》，J.流体力学。，861，R4（2019）·Zbl 1415.76385号
[18] 马萨诸塞州扎法尔。；Xiao，H。；Choudhari，M.M。；李，F。；Chang，C.-L。；帕雷德斯，P。；Venkatachari，B.，基于线性稳定性理论的过渡建模卷积神经网络，Phys。《流体》第5版，第113903条，pp.（2020）
[19] Kim，J。；Lee，C.，利用卷积神经网络预测湍流传热，J.流体力学。，882，A18（2020）·兹比尔1430.76246
[20] Fukami，K。；Fukagata，K。；Taira，K.，《流体流动的监督机器学习评估》，Theor。计算。流体动力学。，34, 4, 497-519 (2020)
[21] 森本茂（Morimoto，M.）。；Fukami，K。；张，K。；Fukagata，K.，流体流量估计的神经网络泛化技术，神经计算。申请。，34, 3647-3669 (2020)
[22] Matsuo，M。；Nakamura，T。；森本茂（Morimoto，M.）。；Fukami，K。；Fukagata，K.，利用自适应超分辨率辅助从截面流场重建三维流体数据的监督卷积网络（2021），ArXiv:2103.09020
[23] 骑士，M。；Hœpffner，J。；Bewley，T.R。；Henningson，D.S.，《壁流系统中的状态估计》。第2部分。湍流，《流体力学杂志》。，552, 167-187 (2006) ·Zbl 1134.76353号
[24] M.P.布伦纳。；Eldredge，J.D。；Freund，J.B.，《推进流体力学的机器学习透视》，物理。流体版本，4，（100501）（2019）
[25] 黄，J。；刘，H。；Cai，W.，通过深度学习从历史二维投影中在线原位预测三维火焰演化，J.Fluid Mech。，875，R2（2019）·Zbl 1419.76354号
[26] 蔡，S。；周，S。；徐，C。；Gao，Q.，通过卷积神经网络对粒子图像进行密集运动估计，实验流体，60，60-73（2019）
[27] 森本茂（Morimoto，M.）。；Fukami，K。；Fukagata，K.，《使用机器学习对不完美粒子图像进行实验速度数据估计》，Phys。流体，33，第087121条pp.（2021）
[28] Duraisamy，K。；艾卡里诺，G。；Xiao，H.，《数据时代的湍流建模》，年。Rev.流体。机械。，51, 357-377 (2019) ·Zbl 1412.76040号
[29] Maulik，R。；圣马力诺。；雅各布，J.D。；Crick，C.，通过深度学习进行子网格模型分类和融合，J.流体力学。，870, 784-812 (2019) ·Zbl 1419.76370号
[30] Maulik，R。；San，O.，湍流盲反褶积的神经网络方法，J.Fluid Mech。，831, 151-181 (2017) ·Zbl 1421.76134号
[31] Maulik，R。；圣马力诺。；拉希德，A。；Vedula，P.，使用神经网络的二维湍流子网格建模，J.流体力学。，858, 122-144 (2019) ·Zbl 1415.76405号
[32] Wu，J.-L。；Xiao，H。；Paterson，E.，《增强湍流模型的基于物理的机器学习方法：综合框架》，Phys。《流体》第3版第074602条pp.（2018）
[33] 王建新。；Wu，J.-L。；Xiao，H.，基于DNS数据重建雷诺应力模型差异的基于物理的机器学习方法，Physis。《流体》第2版，第034603条，pp.（2017）
[34] Ling，J。；Kurzawski，A。；Templeton，J.，使用嵌入不变性的深度神经网络进行雷诺平均湍流建模，J.流体力学。，807, 155-166 (2016) ·Zbl 1383.76175号
[35] Lapeyre，C.J。；Misdariis，A。；卡扎德，N。；维南特，D。；Poinsot，T.，训练卷积神经网络以估计湍流子网格尺度反应速率，库布斯特。火焰，203255-264（2019）
[36] 帕瓦尔，S。；圣马力诺。；拉希德，A。；Vedula，P.，《Kraichnan湍流亚脊尺度参数化深度学习的先验分析》，Theor。计算。流体动力学。，34, 429-455 (2020)
[37] Omata，N。；Shirayama，S.，使用深度自动编码器对流场时间行为进行低维表示的新方法，AIP Adv.，9，1，第015006页，（2019）
[38] Murata，T。；Fukami，K。；Fukagata，K.，流体动力学卷积神经网络非线性模式分解，流体力学杂志。，882，A13（2020）·Zbl 1430.76395号
[39] Fukami，K。；Murata，T。；张，K。；Fukagata，K.，具有低维流动表示的非线性动力学的稀疏识别，J.Fluid Mech。，926，A10（2021）·Zbl 1500.76068号
[40] Fukami，K。；Nakamura，T。；Fukagata，K.，基于卷积神经网络的分层自动编码器，用于流场数据的非线性模式分解，Phys。流体，32，第095110条pp.（2020）
[41] 艾哈迈德，S.E。；圣马力诺。；Bistrian，D.A。；Navon，I.M.，《浅水方程降阶模型中的采样和分辨率特征：侵入与非侵入》，国际出版社。J.数字。液体方法，92，8，992-1036（2020）
[42] Cheng，M。；方，F。；疼痛，C.C。；Navon，I.M.，用于参数化非线性流体流动建模的先进混合深对抗自动编码器，计算。方法应用。机械。工程，372，1，第113375条pp.（2020）
[43] 艾哈迈德，S.E。；拉赫曼，S.M。；圣马力诺。；拉希德，A。；Navon，I.M.，非遍历流的内存嵌入式非侵入降阶建模，Phys。流体，31，第126602条pp.（2019）
[44] Mohan，A.T。；Gaitonde，D.V.，使用LSTM神经网络对湍流控制进行降阶建模的基于深度学习的方法（2018），ArXiv:1804.09269
[45] Srinivasan，宾夕法尼亚州。；Guastoni，L。；阿齐兹普尔，H。；施拉特，P。；Vinuesa，R.，使用深层神经网络预测湍流剪切流，Phys。《流体》第4版，第054603条，pp.（2019）
[46] 帕瓦尔，S。；拉赫曼，S。；瓦迪雷迪，H。；圣马力诺。；拉希德，A。；Vedula，P.，流体流动非侵入式降阶建模的深度学习促成因素，Phys。流体，31，8，第085101条pp.（2019）
[47] 艾哈迈德，S.E。；圣马力诺。；拉希德，A。；Iliescu，T.，混合提升降阶模型的长-短期记忆嵌入，Phys。D： 非线性现象。，409，第132471条pp.（2020）·Zbl 1505.76071号
[48] 艾瓦齐，H。；Guastoni，L。；施拉特，P。；阿齐兹普尔，H。；Vinuesa，R.，低阶湍流模型中时间预测的递归神经网络和基于Koopman的框架，国际热流学杂志，90，第108816页，（2021）
[49] Cheng，M。；方，F。；Kinouchi，T。；纳文，I.M。；Paina，C.C.，《使用机器学习方法进行长前置时间日流量和月流量预测》，J.Hydrol。，590，第125376条pp.（2020）
[50] 胡，R。；方，F。；疼痛，C.C。；Navon，I.M.，《使用深度学习方法进行快速时空洪水预测和不确定性量化》，J.Hydrol。，575, 911-920 (2019)
[51] 长谷川，K。；Fukami，K。；Murata，T。；Fukagata，K.，《各种形状钝体周围非定常流动的基于机器学习的降阶建模》，Theor。计算。流体动力学。，34, 4, 367-388 (2020)
[52] Maulik，R。；Lusch，B。；Balaprakash，P.，用递归神经网络和卷积自编码器对对流主导系统进行降阶建模，Phys。流体，33，3，第037106条pp.（2021）
[53] 长谷川，K。；Fukami，K。；Murata，T。；Fukagata，K.，基于CNN-LSTM的不同雷诺数下圆柱周围二维非定常流动的降阶建模，Fluid Dyn。决议，52，6，第065501条pp.（2020）
[54] 中村，T。；Fukami，K。；长谷川，K。；Nabae，Y。；Fukagata，K.，卷积神经网络和基于长-短期记忆的最小紊流河道降阶代理，Phys。流体，33，第025116条pp.（2021）
[55] Der Kiureghian，A。；Ditlevsen，O.，Alematic还是认识论？这重要吗？，结构。安全。，31, 2, 105-112 (2009)
[56] Senge，R。；Bösner，S。；Dembczyánski，K。；Haasenritter，J。；O.赫希。；北卡罗来纳州唐纳·班佐夫。；Hüllermeier，E.，可靠分类：学习区分任意和认识不确定性的分类器，Inform。科学。，255, 16-29 (2014) ·Zbl 1320.68145号
[57] 肯德尔，A。；Gal，Y.，我们在计算机视觉的贝叶斯深度学习中需要哪些不确定性？，高级神经信息处理。系统。，30 (2017)
[58] Hüllermier，E。；Waegeman，W.，《机器学习中的任意和认知不确定性：概念和方法简介》，马赫。学习。，110, 3, 457-506 (2021) ·兹比尔07432810
[59] Maulik，R。；Fukami，K。；北卡罗来纳州拉马钱德拉。；Fukagata，K。；Taira，K.，流体流动替代建模和数据恢复的概率神经网络，物理。《流体》第5版，第104401条，pp.（2020）
[60] Dubois，D。；普拉德，H。；Smets，P.，《代表部分无知》，IEEE Trans。系统。人。赛博-A部分：系统。人类，26，3，361-377（1996）
[61] Neal，R.，《神经网络贝叶斯学习》，第118卷（2012），Springer Science Business Media：Springer科学商业媒体纽约
[62] Andrieu，C。；新墨西哥州弗雷塔斯。；Doucet，A。；Jordan，M.I.，机器学习MCMC简介，马赫。学习。，50, 5-43 (2003) ·Zbl 1033.68081号
[63] Gal，Y。；Ghahramani，Z.，《作为贝叶斯近似的辍学：在深度学习中表示模型不确定性》（Dropout as a Bayesian approximation:Representating model uncertainment in deep learning），（第33届机器学习国际会议论文集。第33届国际机器学习会议论文集，机器学习研究论文集，第48卷（2016），PMLR），1050-1059
[64] 赫尔南德斯·洛巴托，J.M。；Adams，R.P.，贝叶斯神经网络可扩展学习的概率反向传播，（第32届机器学习国际会议论文集。第32届国际机器学习会议论文集，机器学习研究论文集，第37卷（2015），PMLR），1861-1869
[65] 埃瓦齐，H。；Clainche，S.L。；霍亚斯，南卡罗来纳州。；Vinuesa，R.，从湍流中提取正交和简约非线性模式，专家系统。申请。，202，第117038条pp.（2022）
[66] 奇普曼，H.A。；E.I.乔治。；Mcculloch，R.E.，贝叶斯集成学习（Schölkopf，B.；Platt，J.；Hoffman，T.，《神经信息处理系统进展》，第19卷（2007），麻省理工出版社）
[67] Wu，J.-L。；王建新。；Xiao，H.，降低模型形式不确定性的贝叶斯校准预测方法及其在RANS模拟中的应用，Flow Turbl。库布斯特。，97, 761-786 (2016)
[68] Xiao，H。；Wu，J.-L。；王建新。；Sun，R。；Roy，C.J.，《量化和减少雷诺平均Navier-Stokes模拟中的模型形式不确定性：一种数据驱动、基于物理的贝叶斯方法》，J.Compute。物理。，324, 1, 115-136 (2016) ·Zbl 1371.76082号
[69] 王建新。；Sun，R。；Xiao，H.，湍流建模中不确定性的量化：基于物理和随机矩阵理论方法的比较，《国际热流杂志》，62，B，577-592（2016）
[70] Sun，L。；Wang，J.-X.，稀疏和噪声数据下流体流动重建的物理约束贝叶斯神经网络，理论。申请。机械。莱特。，10, 3, 161-169 (2020)
[71] 马多克斯，W.J。；加里波夫，T。；伊兹迈洛夫，P。；Vetrov，D。；Wilson，A.G.，深度学习中贝叶斯不确定性的简单基线（2019），ArXiv:1902.02476
[72] 托雷斯，P。；Clainche，S.L。；Vinuesa，R.，《关于研究城市流量的实验、数值和数据驱动方法》，《能源》，第14期，第1310页（2021年）
[73] 伊兹迈洛夫，P。；波多里钦，D。；加里波夫，T。；Vetrov，D。；Wilson，A.G.，平均权重导致更广泛的优化和更好的泛化（2019），ArXiv:1803.05407
[74] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），ArXiv:1412.6980
[75] 波利亚克，B.T。；Juditsky，A.B.，《GAN训练中平均水平的非凡效果》，SIAM J.控制优化。，30, 4, 838-855 (1992) ·Zbl 0762.62022号
[76] G.Yang，T.Zhang，P.Kirichenko，J.Bai，A.G.Wilson，C.De Sa，低精度训练中的随机加权平均，收录于：2019年国际机器学习会议，第7015-7024页。
[77] Y.Yazici，C.Foo，S.Winkler，K.Yap，G.Piliouras，V.Chandrasekhar，通过平均加速随机近似，收录于：2019年学习表征国际会议。
[78] Wilson，A.G。；Izmailov，P.，《贝叶斯深度学习和概化的概率观点》（2020），ArXiv:2002.08791
[79] Mandt，S。；医学博士霍夫曼。；Blei，D.M.，《随机梯度下降作为近似贝叶斯推断》，J.Mach。学习。决议，18，1-35（2017）·Zbl 1442.62055号
[80] Zhang，Y。；Sung，W.J。；Mavris，D.N.，卷积神经网络在预测翼型升力系数中的应用，（AIAA论文（2018）），1903年
[81] 巴特纳加，S。；阿夫沙尔，Y。；潘，S。；Duraisamy，K。；Kaushik，S.，使用卷积神经网络预测空气动力流场，计算。机械。，64, 2, 525-545 (2019) ·Zbl 1468.76051号
[82] 森本茂（Morimoto，M.）。；Fukami，K。；张，K。；Nair，A.G。；Fukagata，K.，《流体流动分析的卷积神经网络：走向有效的元建模和低维化》，Theor。计算。流体动力学。，35, 5, 633-658 (2021)
[83] Fukami，K。；Nabae，Y。；卡瓦伊，K。；Fukagata，K.，使用机器学习的合成湍流流入发生器，Phys。《流体》第4版，第064603条，pp.（2019）
[84] Park，J。；Choi，H.，基于机器学习的湍流槽道减阻反馈控制，流体力学杂志。，904，A24（2020）
[85] Bishop，C.，混合密度网络，神经计算。Res.Group Rep.，NCRG/94/004（1994），（未出版）
[86] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，通过反向传播错误学习表征，自然，322533-536（1986）·Zbl 1369.68284号
[87] V.Nair，G.E.Hinton，《校正线性单位改进受限Boltzmann机器》，摘自：Proc。第27届机器学习国际会议，2010年。
[88] 科尔·H。；Badri Ghomizad，M。；Fukagata，K.，《复杂几何体周围流动的幽灵细胞浸没边界法的统一插值模板》，《流体科学杂志》。技术。，JFST0011（2017）第12、1页
[89] Caltagirone，J.P.，Sur l’interaction fluide-milieo poreux：应用计算努力超过了障碍条件下的努力，C.R.Acad。科学。巴黎，318571-577（1994）·Zbl 0795.76080号
[90] Lumley，J.L.，《非均匀湍流的结构》（Yaglom，A.M.；Tatarski，V.I.，《大气湍流和无线电波传播》（1967），瑙卡）
[91] 辛顿，G.E。；Salakhutdinov，R.R.，《用神经网络降低数据的维数》，《科学》，3135786504-507（2006）·Zbl 1226.68083号
[92] Fukami，K。；长谷川，K。；Nakamura，T。；森本茂（Morimoto，M.）。；Fukagata，K.，《神经网络模型降阶：层流和湍流的应用》，SN计算。科学。，2, 467 (2021)
[93] Taira，K。；Brunton，S.L。；道森，S.T.M。；罗利，C.W。；科隆尼乌斯，T。；McKeon，B.J。；施密特，O.T。；戈尔德耶夫，S。；提奥菲利斯，V。；Ukeiley，L.S.，《流体流动的模态分析：概述》，AIAA J.，55，12，4013-4041（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。