斯蒂芬·古思;阿里雷扎·莫哈伊德;Sapsis，Themistoklis P。 复杂动力系统中认知和随机不确定性量化机器学习体系结构评估的质量度量。 （英语） Zbl 07820286号 计算。方法应用。机械。工程师。 420，文章ID 116760，22 p.（2024）. 摘要：用于构建数据驱动的降阶模型的机器学习方法在越来越多的工程领域中得到了应用，尤其是作为昂贵的设计问题计算流体动力学的补充。替代模型可靠性的一个重要检查是不确定性量化（UQ），它是模型误差的自评估估计。准确的UQ可以通过减少所需的训练数据集大小和所需的安全系数来节省成本，而较差的UQ则会阻止用户自信地依赖模型预测。我们引入了两种适用于高维问题的不确定性量化质量度量：验证数据上归一化残差的分布和估计不确定性的分布。估计不确定性的分布评估模型在预测中的可信度，而归一化残差的分布评估这些不确定性估计的准确性。我们研究了几种机器学习技术，包括高斯过程和一类UQ增强神经网络：集成神经网络（ENN）、贝叶斯神经网络（BNN）、辍学神经网络（D-NN）和高斯神经网络（G-NN）。我们评估UQ准确度（与模型准确度不同）。我们将这些指标应用于两个代表复杂动力系统的模型数据集：一个是海洋工程问题，其中船舶穿过不规则波段，另一个是具有极端事件的分散波湍流系统，即Majda-McLaughlin-Tabak模型。我们提出了有关模型结构和超参数调整的结论，用于UQ在动态系统中的应用，例如主动学习方案。 MSC公司： 68倍 计算机科学 92至XX 生物学和其他自然科学 关键词：不确定性量化;质量措施;高斯过程;集成神经网络;降阶建模 PDF格式BibTeX公司 XML格式引用 \textit{S.Guth}等人，计算。方法应用。机械。Eng.420，文章ID 116760，22 p.（2024；Zbl 07820286） 全文： 内政部 arXiv公司 参考文献： [1] J.O.伯杰。；Smith，L.A.，关于不确定性量化的统计形式。年。修订状态申请。，1, 433-460 (2019) [2] Abdar，M.先生。；Pourpanah，F。；侯赛因，S。；Rezazadegan，D。；刘，L。；加瓦姆扎德，M。；菲古斯，P。；曹，X。；Khosravi，A。；阿查里亚，U.R。；马卡伦科夫，V。；Nahavandi，S.，《深度学习中不确定性量化综述：技术、应用和挑战》。信息融合，243-297（2021） [3] N.Kennamer，A.Ihler，D.Kirkby，《不同天文观测条件下MC-Dropout的实证研究》，收录于：2019年IEEE/CVF计算机视觉和模式识别会议论文集。 [4] 王，G。；李伟（Li，W.）。；阿尔特森，M。；普雷斯特，J。；Ourselin，S.公司。；Vercauteren，T.，利用卷积神经网络进行医学图像分割的测试时间增强的算术不确定性估计。神经计算，34-45（2019） [5] Akbari，A。；Jafari，R.，通过使用可穿戴传感器量化不同类型的不确定性来个性化活动识别模型。IEEE传输。生物识别。工程师，92530-2541（2020） [6] Charalampopoulos，A。；Sapsis，T.，通过物理一致和数据信息的降阶模型对湍流系统进行不确定性量化。物理学。流体，7（2022） [7] 拉斯穆森，C.E。；威廉姆斯，C.K.I.，248 [8] 龚，X。；Pan，Y.，随机输入-响应系统中极值事件概率估计的序贯贝叶斯实验设计。计算。方法应用。机械。工程（2022）·Zbl 1507.65020号 [9] Guth，S。；Sapsis，T.P.，《船舶动力学中极端事件统计的基于波集的高斯过程回归：在卡胡宁-洛艾收敛的锡拉和瞬态特征的沙利比之间》。海洋工程（2022） [10] Guth，S。；Katsidoniotaki，E。；Sapsis，T.，《通过主动采样，使用波浪事件和目标CFD模拟对海上风力涡轮机基础上的完全非线性水动力荷载进行统计建模》（2023年），Authorea Preprints [11] Mohamad，医学硕士。；Sapsis，T.P.，非线性动力系统中极端事件统计的顺序抽样策略。程序。国家。阿卡德。科学。，44, 11138-11143 (2018) ·Zbl 1416.62279号 [12] A.布兰查德。；Sapsis，T.，具有输出加权最优采样的贝叶斯优化。J.计算。物理学。(2020) [13] A.布兰查德。；Sapsis，T.，贝叶斯实验设计和不确定性量化的输出加权最优抽样。SIAM/ASA J.不确定性。数量。，2, 564-592 (2021) ·Zbl 1464.62356号 [14] Yang，Y。；A.布兰查德。；Sapsis，T。；Perdikaris，P.，《具有极端回报的多武装匪徒的输出加权采样》。程序。R.Soc.A：数学。物理学。工程科学。，2260 (2022) [15] 佩迪卡里斯，P。；文丘里，D。；Royset，J.O。；Karniadakis，G.E.，通过递归协克里金和Gaussian-Markov随机场的多精度建模。程序。数学。物理学。工程科学。(2015) [16] Babaee，H。；巴斯蒂达斯，C。；Defilippo，M。；Chryssostomidis，C。；Karniadakis，G.，马萨诸塞州和鳕鱼角湾海面温度的高保真度框架和不确定性量化。地球空间科学。(2020) [17] Champenois，B。；Sapsis，T.，机器学习框架，用于根据历史再分析数据以及实时卫星和浮标表面测量实时重建区域4D海洋温度场。《物理学D：非线性现象》，134026（2024） [18] Pickering，E。；Guth，S。；Karniadakis，G.E。；Sapsis，T.，通过神经操作员的主动学习发现和预测极端事件。自然计算。科学。，823-833 (2022) [19] Psaros，A.F。；X孟。；邹，Z。；郭，L。；Karniadakis，G.E.，《科学机器学习中的不确定性量化：方法、度量和比较》。J.计算。物理学。(2023) ·Zbl 07652802号 [20] Pickering，E。；Sapsis，T.，Information FOMO:对错过信息的不健康恐惧。一种消除健康模型（2022）误导性数据的方法，arXiv预打印arXiv:2208.13080 [21] M.B.Tomczak，R.E.Turner，贝叶斯神经网络的边际似然梯度，收录于：第三届近似贝叶斯推断进展研讨会，2021年。 [22] Schwöbel，P。；约根森，M。；Ober，S.W。；Van Der Wilk，M.，不变性学习的最后一层边际似然，3542-3555 [23] 亨斯曼，J。；马修斯，A。；Ghahramani，Z.，可缩放变分高斯过程分类，351-360 [24] Wilson，A。；Nickisch，H.，可缩放结构高斯过程的核插值（KISS-GP），1775-1784 [25] 伯特，D.R。；拉斯穆森，C.E。；van der Wilk，M.，高斯过程回归中稀疏变分推理的收敛性。J.马赫。学习。决议，131，1-63（2020年）·Zbl 1517.65054号 [26] Ober，S。；Aitchison，L.，贝叶斯神经网络和深高斯过程的全局诱导点变分后验 [27] Damianou，A。；劳伦斯，N.D.，深高斯过程，207-215 [28] 布拉德肖，J。；马修斯，A。；Ghahramani，Z.，《高斯过程混合深网络中的对抗性示例、不确定性和传输测试稳健性》（2017） [29] van Amersfoort，J。；史密斯，L。；杰森，A。；钥匙，O。；Gal，Y.，《改进分类和回归深度学习中的确定性不确定性估计》（2021），CoRR abs/2102.11409，arXiv:2102.11409 [30] Ober，S.W。；拉斯穆森，C.E。；van der Wilk，M.，《深度内核学习的承诺和陷阱》，1206-1216年 [31] 邹，Z。；X孟。；Psaros，A.F。；Karniadakis，G.E.，NeuralUQ：神经微分方程和算子中不确定性量化的综合库（2022），arXiv预印本arXiv:2208.11866 [32] Hüllermier，E。；Waegeman，W.，《机器学习中的任意和认知不确定性：概念和方法简介》。机器。学习。(2021) ·Zbl 07432810号 [33] Shin，Y。；贝伦基，V。；Lin，W。；威姆斯，K。；恩格尔。；McTaggart，K。；法尔扎拉诺，J。；Hutchison，B。；Gerigk，M。；Grochowalski，S.，现代船舶设计耐波性和波损分析的非线性时域仿真技术。事务处理-Soc.海军建筑师。3月工程，557-583（2003） [34] 林，W.-M。；张，S。；威姆斯，K。；琼斯，P。；Meinhold，M。；梅特卡夫，B。；Powers，A.M.，高速双体船湿甲板砰击的数值模拟与验证研究 [35] 林，W.-M。；科莱特，M。；拉维斯，D.R。；Jessup，S.D。；Kuhn，J.，海洋高速船运动和砰击载荷的最新流体动力工具开发和验证（2007年） [36] 林，W.-M。；张，S。；Weems，K.M.，波浪中水面效应船舶的数值模拟，414-421 [37] 哈塞尔曼，K。；巴奈特，T。；Bouws，E。；卡尔森，H。；卡特赖特，D。；恩克，K。；尤因，J。；Gienapp，H。；哈塞尔曼，D。；Kruseman，P。；Meerburg，A。；穆勒，P。；奥尔伯斯，D。；Richter，K。；出售，W。；Walden，H.，联合北海波浪项目（JONSWAP）期间风浪增长和涌浪衰减的测量。德乌特。水力发电机。Z.，1-95（1973） [38] Majda，A.J。；McLaughlin，D.W。；Tabak，E.G.，色散波湍流的一维模型。非线性科学杂志。，9-44 (1997) ·Zbl 0882.76035号 [39] 蔡，D。；Majda，A。；McLaughlin，D。；Tabak，E.，《一维弥散波湍流》。《物理学D》，551-572（2001）·Zbl 1049.76035号 [40] 扎哈罗夫，V。；Guyenne，P。；Pushkarev，A。；Dias，F.，一维模型中的波湍流。Physica D，573-619（2001），《非线性数学与科学进展：纪念弗拉基米尔·扎哈罗夫的特刊》·Zbl 0986.76032号 [41] 扎哈罗夫，V。；直径，F。；Pushkarev，A.，《一维波浪湍流》。物理学。代表，1，1-65（2004） [42] 臀部，B。；Biven，L.，《Majda-McLaughlin-Tabak方程中的弱湍流和坍塌：波数和振幅空间中的通量》。《物理学D》，204188-203（2005）·Zbl 1112.76042号 [43] Will Cousins，T.P.S.，一维非线性色散波模型中极端事件的量化和预测。《物理D》，280-281，48-58（2014）·Zbl 1349.35050号 [44] Guth，S。；Sapsis，T.，复杂动力系统中极端事件的机器学习预测。熵，925（2019） [45] Benjamin，T.B。；Feir，J.E.，《深水波列的分解》。流体力学杂志。，417-430 (1967) ·Zbl 0144.47101号 [46] Zakharov，V.E.，深层流体表面有限振幅周期波的稳定性。J.应用。机械。技术物理。，2, 190-194 (1972) [47] 奥诺拉托，M。；奥斯本，A.R。；塞里奥，M。；Bertone，S.，随机海洋状态下的怪异波浪。物理学。修订稿。，5831-5834 (2001) [48] Dyshe，K.B.，关于应用于深水波的非线性薛定谔方程的修改的注释。程序。R.Soc.伦敦。序列号。A、 1736105-114（1979）·Zbl 0429.76014号 [49] Korteweg，D.J。；德弗里斯，G.，XLI。关于长波在矩形渠道中传播的形式变化，以及一种新型的长波驻波。伦敦。爱丁堡都柏林菲洛斯。科学杂志。，240, 422-443 (1895) [50] 谢尔盖娃，A。；佩利诺夫斯基，E。；Talipova，T.，《浅水非线性随机波场：可变Korteweg-de-Vries框架》，《自然灾害地球系统》。科学。，2, 323-330 (2011) [51] Sclavounos，P.D.，随机海浪的Karhunen-Loève表示。程序。R.Soc.伦敦。序列号。数学。物理学。工程科学。，2145, 2574-2594 (2012) ·Zbl 1371.86014号 [52] Genton，M.G.，《机器学习的内核类：统计学视角》。J.马赫。学习。决议，299-312（2002）·Zbl 1037.68113号 [53] 沙列夫·施瓦茨，S。；Ben David，S.，《理解机器学习——从理论到算法》，I-XVI，1-397（2014），剑桥大学出版社·Zbl 1305.68005号 [54] Murphy，K.P.，《概率机器学习：导论》（2022），麻省理工学院出版社·Zbl 1498.68002号 [55] 卡兰德拉，R。；彼得斯，J。；拉斯穆森，C.E。；Deisenroth，M.P.，回归的流形高斯过程，3338-3345 [56] Van Amersfoort，J。；史密斯，L。；Teh，Y.W。；Gal，Y.，使用单一深度确定性神经网络进行不确定性估计，9690-9700 [57] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，《变分推理：统计学家评论》。J.Amer。统计师。协会，518，859-877（2017） [58] Jospin，L.V.公司。；拉加，H。；Boussaid，F。；W.邦廷。；Bennamoun，M.，《动手贝叶斯神经网络——深度学习用户教程》。IEEE计算。智力。Mag.，2，29-48（2022年） [59] Goan，E。；Fookes，C.，贝叶斯神经网络：介绍和调查，45-87·Zbl 07620010号 [60] 布伦德尔，C。；科内比斯，J。；Kavukcuoglu，K。；Wierstra，D.，神经网络中的重量不确定性，1613-1622 [61] 辛顿，G.E。；北斯利瓦斯塔瓦。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.R.，《通过防止特征检测器的联合自适应改进神经网络》（2012），arXiv预印本arXiv:1207.0580 [62] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过度拟合的简单方法》。J.马赫。学习。1929-1958年第56号决议（2014年）·兹比尔1318.68153 [63] Gal，Y。；Ghahramani，Z.，作为贝叶斯近似的辍学：在深度学习中表示模型不确定性，1050-1059 [64] 巴塔查亚，K。；侯赛尼，B。；科瓦奇奇，N.B。；Stuart，A.M.，《参数PDE的模型简化和神经网络》。SMAI J.计算。数学。，121-157 (2021) ·Zbl 1481.65260号 [65] 科瓦奇基，N。；Lanthaler，S。；Mishra，S.，关于傅立叶神经算子的普遍逼近和误差界。J.马赫。学习。Res.，Art-No（2021）·Zbl 07626805号 [66] 卢，L。；X孟。；蔡，S。；毛，Z。；Goswami，S。；张，Z。；Karniadakis，G.E.，基于fair数据对两种神经运算符（具有实际扩展）进行全面而公平的比较。计算。方法应用。机械。工程（2022）·Zbl 1507.65050号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。