×
皮埃尔·杰奎尔;阿齐迪内·阿卜杜杜;文森特·德尔马斯;阿扎丁苏拉伊马尼

使用不确定性感知深度神经网络和适当的正交分解的非侵入降阶建模：在洪水建模中的应用。 （英语） Zbl 07508459号

J.计算。物理学。 424，文章ID 109854，27 p.（2021）.
摘要：深度学习研究正在以惊人的速度发展，在实际工程环境中，将这些知识转移到计算流体动力学等较老的领域可以获得很多好处。本文比较了深度神经网络中处理不确定性量化的最新方法，提出了基于深度集成和变分推理的贝叶斯神经网络（POD-NN）在空间二维问题上的降阶建模方法。这些方法首先在基准问题上进行了测试，然后应用到实际应用中：加拿大魁北克省蒙特利尔市的MilleÎles河洪水预测。我们的设置涉及一组具有潜在噪声分布的输入参数，并累积这些参数产生的模拟数据。目标是建立一个非侵入性代理模型，该模型能够知道何时不知道，这在神经网络（以及一般人工智能）中仍是一个开放的研究领域。在该模型的帮助下，生成了概率洪水图，并意识到模型的不确定性。这些对未知事物的见解也被用于不确定性传播任务，使得洪水淹没区域的预测比常规不确定性未知替代模型的预测更广泛、更安全。我们还对溃坝的时间相关和高度非线性情况进行了研究。集成和贝叶斯方法都能为多个平滑物理解决方案提供可靠的结果，从而在偏离分布时提供正确的警告。然而，事实证明，前者（称为POD-EnsNN）比后者更容易实现，并且在不连续的情况下表现出更大的灵活性，因为标准算法可能会振荡或无法收敛。

引用于7文件

MSC公司：

68倍 计算机科学
86年X月X日 地球物理学

关键词：

不确定性量化;深度学习;时空POD;洪水建模

软件：

ParaView视图;TensorFlow公司;亚当;努姆巴;电信;开胃-v4;单词2vec;Horovod公司
PDF格式BibTeX公司 XML格式引用
\textit{P.Jacquier}等人，J.Compute。物理学。424，文章ID 109854，27 p.（2021；Zbl 07508459）
全文： 内政部 arXiv公司

参考文献：

[1] 塞格迪，C。；洛夫，S。；Vanhoucke，V。；Alemi，A.A.，Inception-v4，Inception ResNet和剩余连接对学习的影响，（第三十一届AAAI人工智能会议（2017））
[2] Mikolov，T。；Sutskever，I。；Chen，K。；Corrado，G。；Dean，J.，单词和短语的分布式表示及其组合，（第26届神经信息处理系统国际会议论文集-第2卷）。第26届神经信息处理系统国际会议论文集-第2卷，NIPS’13（2013），Curran Associates Inc.：Curran associatess Inc.，美国纽约州Red Hook，3111-3119
[3] Karras，T。；莱恩，S。；艾塔拉，M。；Hellsten，J。；Lehtinen，J。；Aila，T.，分析和提高StyleGAN（2019）的图像质量，预印本
[4] 斯托克斯，J.M。；Yang，K。；斯旺森，K。；金·W。；Cubillos-Ruiz，A。；新墨西哥州东希亚。；麦克奈尔，C.R。；法语，S。；洛杉矶Carfrae。；布鲁姆·阿克曼，Z。；Tran，V.M。；Chiappino-Pepe，A。；Badran，A.H。；安德鲁斯，I.W。；乔里·E·J。；Church，G.M。；E.D.布朗。；Jaakkola，T.S。；巴兹雷，R。；Collins，J.J.，《抗生素发现的深度学习方法》，Cell，180，688-702.e13（2020）
[5] 本纳，P。；古吉丁，S。；Willcox，K.，参数动力系统基于投影的模型简化方法综述，SIAM Rev.，57，483-531（2015）·Zbl 1339.37089号
[6] 霍姆斯，P.J。；Lumley，J.L。；Berkooz，G。；J.C.马丁利。；Wittenberg，R.W.，湍流中相干结构的低维模型，物理学。众议员，287337-384（1997）
[7] Sirovich，L.，湍流和相干结构动力学。I.相干结构，Q.Appl。数学。，45, 561-571 (1987) ·Zbl 0676.76047号
[8] Burkardt，J。；Gunzburger，M。；Lee，H.C.，基于中心Voronoi细分的复杂系统降阶建模，SIAM J.Sci。计算。，28, 459-484 (2006) ·Zbl 1111.65084号
[9] 对联，M。；Basdevant，C。；Sagaut，P.，用于流体流动建模的校准降阶POD-Galerkin系统，J.Compute。物理。，207, 192-220 (2005) ·Zbl 1177.76283号
[10] Zokagoa，J.M。；Soulamini，A.，基于POD的简化模型，用于蒙特卡罗型应用的真实水深测量的自由表面浅水流，计算。方法应用。机械。工程，221-222，1-23（2012）·Zbl 1253.76070号
[11] Zokagoa，J.M。；Soulamini，A.，《基于POD的浅水流动不确定性分析降阶模型》，《国际计算杂志》。流体动力学。，1-15 (2018)
[12] 赫塞文，J。；Ubbiali，S.，《使用神经网络对非线性问题进行非侵入式降阶建模》，J.Compute。物理。，363, 55-78 (2018) ·Zbl 1398.65330号
[13] 王，Q。；赫塞文，J.S。；Ray，D.，使用人工神经网络的非侵入式非定常流降阶建模及其在燃烧问题中的应用，J.Comput。物理。，384, 289-307 (2019) ·Zbl 1459.76117号
[14] Ijzerman，W.，《流体中空间结构的信号表示和建模》（2000年）
[15] 布伦顿，S.L。；Proctor，J.L。；Kutz，J.N.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，113，3932-3937（2016）·Zbl 1355.94013号
[16] 库茨，J.N.，《流体动力学深度学习》，J.流体力学。，814, 1-4 (2017) ·Zbl 1383.76380号
[17] 卡尔伯格，K.T。；A.詹姆逊。；M.J.Kochenderfer。；J.莫顿。；彭，L。；Witherden，F.D.，使用深度神经网络和动力学学习恢复高阶离散化中缺失的CFD数据，J.Compute。物理。，395, 105-124 (2019) ·Zbl 1452.68147号
[18] 陶，J。；Sun，G.，基于深度学习的高保真度代理模型在鲁棒气动设计优化中的应用，Aerosp。科学。技术。，92, 722-737 (2019)
[19] Hanna，B.N。；新墨西哥州丁。；Youngblood，R.W。；Bolotnov，I.A.，基于机器学习的粗网格计算流体动力学（CG-CFD）误差预测方法，Prog。编号。能源，118，第103140页（2020年）
[20] Després，B。；Jourdren，H.，可压缩流体体积方案的机器学习设计，J.Compute。物理。，408，第109275条，第（2020）页·Zbl 07505611号
[21] 布伦顿，S.L。；Kutz，J.N.，《数据驱动科学与工程》（2019），剑桥大学出版社·Zbl 1407.68002号
[22] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，使用高斯过程的线性微分方程机器学习，J.Compute。物理。，348, 683-693 (2017) ·兹比尔1380.68339
[23] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《物理信息神经网络：解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Comput。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[24] 莱斯，M。；王，Z。；Triantafylou，M.S。；Karniadakis，G.E.，《涡激振动的深度学习》，《流体力学杂志》。，861, 119-137 (2019) ·Zbl 1415.76177号
[25] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，《通过错误传播学习内部表征》（1985年），加州大学圣地亚哥拉荷亚认知科学研究所，技术报告
[26] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 1735-1780 (1997)
[27] 胡，R。；方，F。；疼痛，C。；Navon，I.，使用深度学习方法的快速时空洪水预测和不确定性量化，J.Hydrol。，575, 911-920 (2019)
[28] 麦克德莫特，P.L。；Wikle，C.K.，用于预测和量化时空数据中不确定性的贝叶斯递归神经网络模型，熵，21（2019）
[29] 谢伟伟，《环境科学中的机器学习方法：神经网络和内核》（2009），剑桥大学出版社·Zbl 1179.68120号
[30] Lakshminarayanan，B。；Pritzel，A。；Blundell，C.，使用深度集成进行简单且可扩展的预测不确定性估计，（神经信息处理系统进展（2017）），6402-6413
[31] Valdenegro-Toro，M.，《图像分类中快速不确定性估计的深层次网格》（2019年）
[32] 斯诺克，J。；卵巢，Y。；Fertig，E。；Lakshminarayanan，B。；Nowozin，S。；Sculley，D。；狄龙，J。；Ren，J。；Z·纳多，你能相信你的模型的不确定性吗？评估数据集转移下的预测不确定性，（神经信息处理系统进展（2019）），13969-13980
[33] Mackay，D.J.C.，《概率网络和似然预测——监督神经网络实用贝叶斯方法综述》，Netw。计算。神经系统。，6, 469-505 (1995) ·Zbl 0834.68098号
[34] 巴伯，D。；Bishop，C.，贝叶斯神经网络集成学习，北约ASI系列。F、 计算。系统。科学。，215-237 (1998) ·Zbl 0936.68082号
[35] Graves，A.，《神经网络的实用变分推理》，（Shawe-Taylor，J.；Zemel，R.S.；Bartlett，P.L.；Pereira，F.；Weinberger，K.Q.，《神经信息处理系统的进展》，第24卷（2011年），Curran Associates Inc.），2348-2356
[36] 赫尔南德斯·洛巴托，J.M。；Adams，R.，贝叶斯神经网络可扩展学习的概率反向传播，（Bach，F。；Blei，D.，第32届机器学习国际会议论文集。第32届机器学习国际会议记录，PMLR，法国里尔。第32届机器学习国际会议论文集。第32届机器学习国际会议论文集，PMLR，法国里尔，机器学习研究论文集，第37卷（2015），1861-1869
[37] 布伦德尔，C。；科尔内比塞，J。；Kavukcuoglu，K。；Wierstra，D.，《神经网络中的权重不确定性》（第32届国际机器学习会议论文集，第37卷）。第32届国际机器学习会议记录——第37卷，ICML’15（2015），JMLR.org，1613-1622
[38] 辛顿，G.E。；van Camp，D.，通过最小化权重的描述长度保持神经网络的简单性，（第六届计算学习理论年会论文集，COLT’93）。第六届计算学习理论年会论文集，COLT’93，COLT’93（1993），计算机械协会：美国纽约州计算机械协会，5-13
[39] Yan，L。；Zhou，T.，基于深度神经网络的大规模贝叶斯反问题自适应代理建模（2019）
[40] Yang，L。；X孟。；Karniadakis，G.E.，B-binns：含噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络（2020）
[41] 尼克斯·D.A。；Weigend，A.S.，估计目标概率分布的平均值和方差，（1994年IEEE神经网络国际会议论文集，第1卷）。1994年IEEE神经网络国际会议论文集，第1卷，ICNN'94（1994），IEEE），55-60
[42] 肯德尔，A。；Gal，Y.，我们在计算机视觉的贝叶斯深度学习中需要哪些不确定性？，（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统进展》，第30卷（2017），Curran Associates，Inc.），5574-5584
[43] Krogh，A。；Hertz，J.A.，简单的重量衰减可以改善泛化，（Moody，J.E.；Hanson，S.J.；Lippmann，R.P.，《神经信息处理系统的进展》，第4卷（1992），Morgan-Kaufmann），950-957
[44] Kingma，D.P。；Ba Adam，J.，《随机优化方法》（2014），预印本
[45] Rumelhart，D.E。；辛顿，G.E。；Williams，R.J.，通过反向传播错误学习表征，《自然》，323533-536（1986）·Zbl 1369.68284号
[46] Linnainmaa，S.，累积舍入误差的泰勒展开，BIT数字。数学。，16, 146-160 (1976) ·Zbl 0332.65024号
[47] 谢尔盖夫，A。；Del Balso，M.，《Horovod：TensorFlow中快速便捷的分布式深度学习》（2018）
[48] 姚，J。；潘·W。；Ghosh，S。；Doshi-Velez，F.，贝叶斯神经网络推断的不确定性量化质量（2019）
[49] 塞格迪，C。；Zaremba，W。；Sutskever，I。；布鲁纳，J。；Erhan，D。；古德费罗，I。；Fergus，R.，《神经网络的有趣特性》（国际学习表征会议（2014））
[50] 古德费罗，I.J。；Shlens，J。；Szegedy，C.，《解释和利用对抗性例子》（2014年）
[51] 古德费罗，I.J。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》（2014）
[52] Neal，R.M.，《使用马尔可夫链蒙特卡罗方法进行概率推断》（1993），技术报告
[53] Neal，R.M.，神经网络贝叶斯学习（1995），技术报告
[54] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[55] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯，（2014年第二届国际学习代表会议——会议记录，国际学习代表大会，ICLR）
[56] Abadi，M.，TensorFlow:大规模机器学习系统（2016）
[57] Dillon，J.V。；Langmore，I。；Tran，D。；Brevdo，E。；Vasudevan，S。；Moore博士。；巴顿，B。；Alemi，A。；霍夫曼，M。；Saurous，R.A.，TensorFlow分布（2017）
[58] Krasser，M.，贝叶斯神经网络中的变分推理-Martin Krasser的博客（2019）
[59] Lam，S.K。；Pitrou，A。；Seibert，S.，Numba:一个基于LLVM的python JIT编译器，（HPC中LLVM编译器基础设施第二次研讨会论文集。HPC中的LLVM编译器体系结构第二次会议论文集，LLVM’15（2015），ACM:美国纽约州纽约市ACM），7:1-7:6
[60] 太阳，X。；潘，X。；Choi，J.-I.，使用多项式混沌展开的非侵入降阶建模方法（2019）
[61] Toro，E.F.，《自由表面浅流的冲击捕获方法》（2001），John Wiley·Zbl 0996.76003号
[62] 加兰德，J.-C。；古塔尔，N。；Hervouet，J.-M.，TELEMAC：求解浅水方程的新数值模型，Adv.water Resour。，14, 138-148 (1991)
[63] 吴，C。；黄，G。；郑毅，溃坝冲击波的理论解，J.Hydraul。工程，125，1210-1214（1999）
[64] 拉纳斯，B。；南卡罗来纳州兰塔隆。；Sáinz，F.J.，神经网络对不连续函数的构造逼近，神经过程。莱特。，27, 209-226 (2008)
[65] Ahrens，J。；Geveci，B。；Law，C.，Paraview:大型数据可视化的最终用户工具（2005）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。