×
Psaros，Apostolos F。；徐汇孟；邹宗仁；郭玲；乔治·埃姆·卡尼亚达基斯

科学机器学习中的不确定性量化：方法、度量和比较。 （英语） Zbl 07652802号

J.计算。物理学。 477，文章ID 111902，83 p.（2023）.
摘要：神经网络（NN）目前正在深刻改变计算范式，即如何将物理和工程中的数据与数学定律相结合，解决传统方法无法解决的具有挑战性的逆问题和不适定问题。然而，在基于NN的推理中量化错误和不确定性比传统方法更复杂。这是因为除了与噪声数据相关的任意不确定性外，还存在由于数据有限而产生的不确定性，但也存在由于NN超参数、过参数化、优化和采样错误以及模型错误指定而产生的确定性。尽管最近有一些关于NN中不确定度量化（UQ）的工作，但还没有对量化不确定度的合适方法进行系统研究总不确定度甚至对于函数逼近也是有效且高效的，使用NN求解偏微分方程和学习无穷维函数空间之间的算子映射的工作更少。在这项工作中，我们提出了一个全面的框架，其中包括不确定性建模、新的和现有的解决方案方法，以及评估指标和事后改进方法。为了证明我们的框架的适用性和可靠性，我们进行了一项广泛的比较研究，其中对各种方法进行了原型问题测试，包括混合输入输出数据问题和高维随机问题。在附录中，我们对所有使用的UQ方法进行了全面描述。此外，为了促进UQ在科学机器学习研究和实践中的部署，我们在[Z.邹等，“NeuralUQ：神经微分方程和算子中不确定性量化的综合库”，预印本，arXiv:2208.11866]开源Python库(https://github.com/Crunch-UQ4MI/neuraluq网站)名为NeuralUQ，配有教育教程和额外的计算实验。

引用于1审查
引用于15文件

MSC公司：

68T07型 人工神经网络与深度学习
2015年1月62日 贝叶斯推断
65二氧化碳 蒙特卡罗方法
65平方米 含偏微分方程初值和初边值问题离散方程的数值解

关键词：

科学机器学习；随机偏微分方程；不确定性量化；基于物理的神经网络；神经算子学习；贝叶斯框架

软件：

DeepONet（深度网络）；DGM公司；hp-车辆识别号；XPIN编号；达科塔；tfp.mcmc公司；UQDeepONet（UQDeep网络）；贝叶斯DA；Wasserstein GAN公司；PPINN公司；NeuralUQ公司；FPIN编号；UQpy公司；深XDE；蟒蛇；SimNet公司；乌兹拉布
PDF格式BibTeX公司 XML格式引用
\textit{A.F.Psaros}等人，《计算杂志》。物理学。477，文章ID 111902，83 p.（2023；Zbl 07652802）
全文： 内政部 arXiv公司

参考文献：

[1] 邹，Z。；X孟。；Psaros，A.F。；Karniadakis，G.E.，NeuralUQ：神经微分方程和算子中不确定性量化的综合库（2022），arXiv预印本
[2] Karniadakis，G.E。；Kevrekidis，I.G。；卢，L。；佩迪卡里斯，P。；王，S。；Yang，L.，《物理为机器学习提供信息》，自然科学版。(2021)
[3] Alber，M。；Buganza Tepole，A。；坎农，W.R。；德·S。；杜拉·伯纳尔，S。；Garikipati，K。；Karniadakis，G.E。；莱顿，W.W。；佩迪卡里斯，P。；佩佐德，L。；Kuhl，E.，《整合机器学习和多尺度建模——生物学、生物医学和行为科学中的观点、挑战和机遇》，npj Digit。医学，2，1-11（2019）
[4] 威拉德，J。；贾，X。；徐，S。；斯坦巴赫，M。；Kumar，V.，《将科学知识与工程和环境系统的机器学习相结合》（2021年）
[5] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》，第1卷（2016年），麻省理工学院出版社·Zbl 1373.68009号
[6] 海姆，C.F。；Higham，D.J.，《深度学习：应用数学家简介》，SIAM Rev.，61，860-891（2019）·Zbl 1440.68214号
[7] 卢，L。；Jin，P。；庞，G。；张，Z。；Karniadakis，G.E.，基于算子的普遍逼近定理，通过DeepONet学习非线性算子，Nat.Mach。智力。，3, 218-229 (2021)
[8] Goswami，S。；尹，M。；Yu，Y。；Karniadakis，G.E.，预测脆性材料裂纹路径的基于物理的变分DeepONet（2021），arXiv预印本
[9] 王，S。；Wang，H。；Perdikaris，P.，《利用基于物理的DeepONets学习参数偏微分方程的解算子》（2021）
[10] Lanthaler，S。；米什拉，S。；Karniadakis，G.E.，《DeepOnets的错误估计：无限维的深度学习框架》（2021），arXiv预印本
[11] 李，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的Fourier神经算子（2021）
[12] Darbon，J。；Meng，T.，关于能够表示某些高维Hamilton-Jacobi偏微分方程粘性解的一些神经网络结构，J.Compute。物理。，425，第109907条pp.（2021）·Zbl 07508503号
[13] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[14] 拉加里斯，I。；利卡斯，A。；Fotiadis，D.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 987-1000 (1998)
[15] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号
[16] 庞，G。；卢，L。；Karniadakis，G.E.，《fPINNs:分数物理信息神经网络》，SIAM J.Sci。计算。，41，A2603-A2626（2019）·Zbl 1420.35459号
[17] 雅格塔普，A.D。；Karniadakis，G.E.，《扩展物理信息神经网络（XPINNs）：基于广义时空域分解的非线性偏微分方程深度学习框架》，Commun。计算。物理。，28, 2002-2041 (2020) ·Zbl 07419158号
[18] X孟。；李，Z。；张，D。；Karniadakis，G.E.，PPINN：时间依赖性偏微分方程的仿实物理信息神经网络，计算。方法应用。机械。工程，370，第113250条pp.（2020）·Zbl 1506.65181号
[19] Kharazmi，E。；张，Z。；Karniadakis，G.E.，Hp VPINNs：具有域分解的变分物理知情神经网络，Comput。方法应用。机械。Eng.，374，第113547条，第（2021）页·Zbl 1506.68105号
[20] Shin，Y。；Darbon，J。；Karniadakis，G.E.，关于线性二阶椭圆和抛物线型偏微分方程的物理信息神经网络的收敛性，Commun。计算。物理。，28, 2042-2074 (2020) ·Zbl 1473.65349号
[21] 米什拉，S。；Molinaro，R.，《用物理信息神经网络逼近偏微分方程一类逆问题的泛化误差估计》，IMA J.Numer。分析。(2021)
[22] X孟。；Karniadakis，G.E.，《从多保真数据中学习的复合神经网络：函数逼近和PDE逆问题的应用》，J.Compute。物理。，401，第109020条pp.（2020）·Zbl 1454.76006号
[23] X孟。；Babaee，H。；Karniadakis，G.E.，《多精度贝叶斯神经网络：算法和应用》，J.Compute。物理。，438，第110361条pp.（2021）·Zbl 07505956号
[24] Yang，L。；X孟。；Karniadakis，G.E.，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络，J.Compute。物理。，425，第109913条pp.（2021）·Zbl 07508507号
[25] 卢，L。；X孟。；毛，Z。；Karniadakis，G.E.，DeepXDE:求解微分方程的深度学习库，SIAM Rev.，63208-228（2021）·Zbl 1459.65002号
[26] 欧·亨尼希。；Narasimhan，S。；Nabian，医学硕士。；Subramaniam，A。；Tangsali，K。；方，Z。；里特曼，M。；再见，W。；Choudhry，S.，NVIDIA SimNet™：人工智能加速的多物理仿真框架，（国际计算科学会议（2021），施普林格），447-461
[27] Neal，R.M.，《使用马尔可夫链蒙特卡罗方法进行概率推断》，多伦多大学计算机科学系（1993年）：加拿大安大略省多伦多大学
[28] MacKay，D.J.，《神经网络的贝叶斯方法：理论和应用》（剑桥大学神经网络暑期学校（1995））
[29] Neal，R.M.，神经网络贝叶斯学习（1995），多伦多大学博士论文
[30] 巴伯，D。；Bishop，C.M.，贝叶斯神经网络中的集成学习，北约ASI F系列计算。系统。科学。，168, 215-238 (1998)
[31] Lampinen，J。；Vehtari，A.，神经网络贝叶斯方法——回顾和案例研究，神经网络。，14, 257-274 (2001)
[32] Gelman，A。；卡林，J.B。；斯特恩，H.S。；邓森，D.B。；Vehtari，A。；Rubin，D.B.，贝叶斯数据分析（2015），查普曼和霍尔/CRC
[33] Graves，A.，神经网络的实用变分推理，（神经信息处理系统进展（2011）），2348-2356
[34] Neal，R.M.，MCMC使用哈密顿动力学（2012）·兹比尔1229.65018
[35] 医学博士霍夫曼。；布莱，D.M。；王，C。；佩斯利，J.，《随机变分推断》，J.马赫。学习。第14号决议，1303-1347（2013）·Zbl 1317.68163号
[36] 马，Y.-A。；Chen，T。；Fox，E.，随机梯度MCMC的完整配方，（神经信息处理系统进展（2015）），2917-2925
[37] Gal，Y.，《深度学习中的不确定性》，剑桥大学，第1卷（2016年）
[38] Wilson，A.G.，《贝叶斯深度学习案例》（2020年）
[39] Wilson，A.G。；Izmailov，P.，《贝叶斯深度学习和泛化的概率观点》（2020年）
[40] 克鲁格博士。；Huang，C.-W。；伊斯兰共和国。；特纳，R。；鳄鱼，A。；Courville，A.，贝叶斯超网络（2017），arXiv预印本
[41] 布莱，D.M。；Kucukelbir，A。；McAuliffe，J.D.，《变分推断：统计学家评论》，J.Am.Stat.Assoc.，112，859-877（2017）
[42] 伊兹迈洛夫，P。；维克兰，S。；医学博士霍夫曼。；Wilson，A.G.，贝叶斯神经网络后验函数到底是什么样的？(2021)
[43] Lakshminarayanan，B。；Pritzel，A。；Blundell，C.，使用深度集成进行简单且可扩展的预测不确定性估计，（神经信息处理系统进展（2017）），6402-6413
[44] 黄，G。；李毅。；普莱斯，G。；刘，Z。；霍普克罗夫特，J.E。；温伯格（Weinberger），K.Q.，《快照信号群：训练1，免费获得M》（2017）
[45] 曼特，S。；医学博士霍夫曼。；Blei，D.M.，《随机梯度下降作为近似贝叶斯推断》，J.Mach。学习。研究，18，4873-4907（2017）·Zbl 1442.62055号
[46] 加里波夫，T。；伊兹迈洛夫，P。；波多里钦，D。；Vetrov，D.P。；Wilson，A.G.，《损失表面、模式连接性和dnns的快速集成》，（神经信息处理系统进展（2018）），8789-8798
[47] M.Khan。；尼尔森，D。；Tangkaratt，V。；Lin，W。；Gal，Y。；Srivastava，A.，《Adam中基于重量扰动的快速可扩展贝叶斯深度学习》（机器学习国际会议，PMLR（2018）），2611-2620
[48] Pearce，T。；Brintrup，A。；Zaki，M。；Neely，A.，《深度学习的高质量预测区间：一种无分布的集成方法》，（机器学习国际会议（2018）），4075-4084
[49] 马多克斯，W.J。；伊兹迈洛夫，P。；加里波夫，T。；Vetrov，D.P。；Wilson，A.G.，深度学习中贝叶斯不确定性的简单基线，（神经信息处理系统进展（2019）），13153-13164
[50] 南部福特。；胡，H。；Lakshminarayanan，B.，《深度信号群：损失前景展望》（2020年）
[51] 他，B。；Lakshminarayanan，B。；Teh，Y.W.，通过神经切线核的贝叶斯深度集成（2020），arXiv预印本
[52] 弗兰泽，G。；坎德拉，R。；Milios，D。；Filippone，M。；Michiardi，P.，《各向同性SGD：贝叶斯后验抽样的实用方法》（2020年）
[53] 凯斯勒，S。；萨拉斯，A。；Tan，V.W.C。；Zohren，S。；Roberts，S.，《通过自适应优化方法实现神经网络的实用贝叶斯学习》（2020年）
[54] 拉哈曼，R。；Thiery，A.H.，不确定性量化和深度集成，（神经信息处理系统进展（2021））
[55] 奥斯本·I。；Aslanides，J。；Cassirer，A.，深度强化学习的随机先验函数，高级神经信息处理。系统。，31 (2018)
[56] 乔塞克，K。；弗图因，V。；富冈，R。；霍夫曼，K。；Turner，R.，通过拟合先验网络进行保守不确定性估计，（国际学习表征会议（2019年））
[57] Malinin，A。；Gales，M.，通过先前网络的预测不确定性估计（2018年）
[58] Sensoy，M。；卡普兰，L。；Kandimer，M.，《量化分类不确定性的证据深度学习》，神经信息处理系统进展，第31卷（2018年），Curran Associates，Inc。
[59] 阿米尼，A。；施瓦廷，W。；Soleimany，A。；Rus，D.，深度证据回归（2020年）
[60] 查彭蒂埃，B。；Zügner，D。；Günnemann，S.，《后验网络：通过基于密度的伪计数进行无OOD样本的不确定性估计》（2020年），arXiv预印本
[61] 科佩茨基，A.-K。；查彭蒂埃，B。；Zügner，D。；Giri，S。；Günnemann，S.，评估预测不确定性估计的稳健性：基于Dirichlet的模型可靠吗？
[62] Malinin，A。；Chervontsev，S。；普罗维尔科夫，I。；Gales，M.，回归先验网络（2020）
[63] 查彭蒂埃，B。；O.Borchert。；Zügner，D。；盖斯勒，S。；Günnemann，S.，《自然后验网络：指数族分布的深度贝叶斯预测不确定性》（2021）
[64] 梅内特，N。；Lavin，A.，多元深度证据回归（2021）
[65] Ulmer，D.，《单程不确定性估计的证据深度学习调查》（2021年），arXiv预印本
[66] Damianou，A。；Lawrence，N.，《深高斯过程》（人工智能与统计（2013）），207-215
[67] 莱斯，M。；Karniadakis，G.E.，深多保真度高斯过程（2016），arXiv预印本
[68] Lee，J。；巴赫里，Y。；诺瓦克，R。；Schoenholz，S.S。；彭宁顿，J。；Sohl-Dickstein，J.，《作为高斯过程的深层神经网络》（国际学习表征会议（2018）），17
[69] 马修斯，A.G.d.G。；罗兰，M。；Hron，J。；特纳，R.E。；Ghahramani，Z.，广深神经网络中的高斯过程行为（2018）
[70] 阿德拉姆，B。；Lee，J。；肖，L。；彭宁顿，J。；Snoek，J.，探索无限宽度极限下神经网络隐式先验的不确定性特性（2020），arXiv预印本
[71] Jakkala，K.，《深高斯过程：一项调查》（2021年），arXiv预印本
[72] 艾奇逊，L。；杨，A。；Ober，S.W.，《深核过程》（Deep kernel processes），第38届机器学习国际会议论文集，PMLR（2021），130-140
[73] Angelopulos，A.N。；Bates，S.，《保角预测和无分布不确定性量化简介》（2021）
[74] Dewolf，N。；De Baets，B。；Waegeman，W.，回归问题的有效预测区间（2021）
[75] 新几内亚波尔森。；Sokolov，V.，《深度学习：贝叶斯观点》，贝叶斯分析。，12, 1275-1304 (2017) ·Zbl 1386.68139号
[76] 卡比尔，H.D。；Khosravi，A。；Hosen，医学硕士。；Nahavandi，S.，《基于神经网络的不确定性量化：方法和应用调查》，IEEE Access，6，36218-36234（2018）
[77] Caldeira，J。；Nord，B.，《深度不确定性：深度学习算法中不确定性量化方法的比较》，马赫。学习。：科学。技术。，2，第015002条pp.（2020）
[78] 果安，E。；Fookes，C.，贝叶斯神经网络：简介和调查，（应用贝叶斯数据科学案例研究（2020），施普林格），45-87·Zbl 07620010号
[79] Loquercio，A。；Segu，M。；Scaramuzza，D.，《深度学习中不确定性估计的一般框架》，IEEE Robot。自动。莱特。，5, 3153-3160 (2020)
[80] 圣赫勒，N。；福克曼，G。；卡尔森，A。；Mathiason，G.，《深度学习中不确定性量化的评估》，（基于知识的系统中不确定性的信息处理和管理国际会议（2020年），斯普林格），556-568
[81] Wang，H。；Yeung，D.-Y.，贝叶斯深度学习调查（2020）
[82] Gawlikowski，J。；塔西，C.R.N。；阿里，M。；Lee，J。；Humt，M。；冯，J。；Kruspe，A。；特里贝尔，R。；Jung，P。；Roscher，R.，深度神经网络不确定性调查（2021），arXiv预印本
[83] Abdar，M。；Pourpanah，F。；侯赛因，S。；Rezazadegan，D。；刘，L。；加瓦姆扎德，M。；菲格特，P。；曹，X。；Khosravi，A。；阿查里亚，U.R。；马卡伦科夫，V。；Nahavandi，S.，《深度学习中不确定性量化的回顾：技术、应用和挑战》（2021年）
[84] Hüllermier，E。；Waegeman，W.，《机器学习中的任意性和认知不确定性：概念和方法简介》，马赫。学习。，110, 457-506 (2021) ·Zbl 07432810号
[85] Z.纳多。；波段，N。；科利尔，M。；乔隆加，J。；杜森贝里，M.W。；法夸尔，S。；费洛斯，A。；哈瓦西，M。；Jenatton，R。；Jerfel，G.，《不确定性基线：深度学习中的不确定性和稳健性基准》（2021），arXiv预印本
[86] 周，X。；刘，H。；Pourpanah，F。；曾德，T。；Wang，X.，监督学习中认知（模型）不确定性的调查：最新进展和应用（2021），arXiv预印本
[87] Jospin，L.V。；拉加，H。；Boussaid，F。；W.邦廷。；Bennamoun，M.，《动手贝叶斯神经网络——深度学习用户教程》，IEEE Comput。智力。Mag.，17，29-48（2022）
[88] Masegosa，A.，《模型错误指定下的学习：变分和集成方法的应用》，《高级神经信息处理》。系统。，33, 5479-5491 (2020)
[89] Pickering，E。；Karniadakis，G.E。；Sapsis，T.P.，通过神经操作员的主动学习发现和预测极端事件（2022年）
[90] Fortuin，V.，贝叶斯深度学习中的先验：综述，Int.Stat.Rev.（2022）
[91] 奈梅特，C。；Fearnhead，P.，《随机梯度马尔可夫链蒙特卡罗》，美国统计协会，116，433-450（2021）·Zbl 1457.62024号
[92] 姚，J。；潘·W。；Ghosh，S。；Doshi-Velez，F.，贝叶斯神经网络推理的不确定性量化质量（2019）
[93] 奥斯本·I。；温，Z。；Asghari，S.M。；德瓦拉切拉，V。；卢，X。；Van Roy，B.，评估深度学习中的高阶预测分布（2022），arXiv预印本
[94] 温，Z。；奥斯本·I。；秦，C。；卢，X。；易卜拉希米，M。；德瓦拉切拉，V。；Asghari，M。；Van Roy，B.，《从预测到决策：联合预测分布的重要性》（2022）
[95] 卵巢，Y。；Fertig，E。；Ren，J。；Z.纳多。；Sculley，D。；Nowozin，S。；Dillon，J。；Lakshminarayanan，B。；斯诺克，J.，你能相信你的模型的不确定性吗？评估数据集转移下的预测不确定性，（神经信息处理系统进展（2019）），13991-14002
[96] 威尔斯，O。；Gowal，S。；斯汀伯格，F。；阿尔维斯·雷布菲，S。；克特纳，I。；Dvijotham，K。；Cemgil，T.，《分布变化的细粒度分析》（2021年）
[97] 罗永伟。；Ren，C.-X.，通过最小不确定度原理的广义标签偏移校正：理论和算法（2022）
[98] Tripathy，R.K。；Bilionis Deep UQ，I.，学习深层神经网络替代模型，用于高维不确定性量化，J.Compute。物理。，375, 565-588 (2018) ·Zbl 1419.68084号
[99] Grigo，C。；Koutsourelakis，P.-S.，《小数据领域中粗粒度高维系统的物理感知概率机器学习框架》，J.Compute。物理。，397，第108842条pp.（2019）·Zbl 1453.62414号
[100] Yang，Y。；Perdikaris，P.，随机、高维和多保真系统的条件深层代理模型，计算。机械。，64117-434（2019）·Zbl 1471.74074号
[101] 奥利维尔，A。；屏蔽，医学博士。；Graham-Brady，L.，数据驱动材料建模中不确定性量化的贝叶斯神经网络，计算。方法应用。机械。工程，386，第114079条pp.（2021）·Zbl 1507.65021号
[102] 帕特尔·D·V。；Oberai，A.A.，基于GAN的监督学习不确定性量化先验，SIAM/ASA J.Uncertain。量化。，9, 1314-1343 (2021) ·Zbl 1473.62092号
[103] Xu，K。；Darve，E.，使用深度神经网络和对抗训练解决随机模型中的逆问题，计算。方法应用。机械。工程，384，第113976条pp.（2021）·Zbl 1506.65017号
[104] O’Leary，J。；Paulson，J.A。；Mesbah，A.，《随机物理信息神经网络（SPINN）：学习随机微分方程中隐藏物理的动量匹配框架》（2021）
[105] Yeo，K。；Grullon，D.E.C。；Sun，F.-K。；Boning，D.S。；Kalagnanam，J.R.，利用递归神经网络对未知参数的动态系统进行无模型仿真的变分推理公式，SIAM J.Sci。计算。，43，A1305-A1335（2021）·Zbl 1466.37061号
[106] Yang，L。；Treichler，S。；Kurth，T。；费舍尔，K。；巴拉哈斯·索拉诺，D。；罗梅罗，J。；丘拉维，V。；塔尔塔科夫斯基，A。；马萨诸塞州休斯顿。；Prabhat，M。；Karniadakis Highly-scalable，G.E.，Physics-informated GANs for learning solutions of random PDE，（2019 IEEE/ACM Third Workshop on Deep learning on Supercomputers（DLS），2019），1-11
[107] Atkinson，S.，贝叶斯隐藏物理模型：从数据中发现非线性偏微分算子的不确定性量化（2020）
[108] 日内瓦，N。；Zabaras，N.，《发现多忠实生成性深度学习湍流》。数据科学。，2, 391-428 (2020)
[109] 黄，D.Z。；Xu，K。；Farhat，C。；Darve，E.，使用深层神经网络从间接观测中学习本构关系，J.Compute。物理。，416，第109491条pp.（2020）·Zbl 1437.65192号
[110] 南卡鲁穆里。；Tripathy，R。；Bilinis，I。；Panchal，J.，使用深度神经网络的高维随机椭圆偏微分方程的无模拟器解，J.Comput。物理。，404，第109120条pp.（2020）·Zbl 1453.65021号
[111] Yang，L。；张，D。；Karniadakis，G.E.，《随机微分方程的物理信息生成对抗网络》，SIAM J.Sci。计算。，42，A292-A317（2020）·Zbl 1440.60065号
[112] Yang，Y。；Aziz Bhouri，M。；Perdikaris，P.，《不确定性下鲁棒系统辨识的贝叶斯微分规划》，Proc。R.Soc.A，数学。物理学。工程科学。，476，第20200290条pp.（2020）·Zbl 1472.68166号
[113] 巴贾杰，C。；麦克伦南，L。；Andeen，T。；Roy，A.，《物理信息神经网络的稳健学习》（2021年）
[114] Daw，A。；马鲁夫，M。；Karpatne PID-GAN，A.，基于物理信息鉴别器的GAN框架，用于物理不确定性量化（第27届ACM SIGKDD知识发现和数据挖掘会议论文集（2021）），237-247
[115] Fuhg，J.N。；卡洛格里斯，I。；Fau，A。；Bouklas，N.，不确定领域的区间和模糊物理信息神经网络（2021）
[116] 高，Y。；Ng，M.K.，Wasserstein在物理信息神经网络中的生成性对抗不确定性量化（2021）·Zbl 07536770号
[117] 林·G。；莫亚，C。；Zhang，Z.，用于求解含噪参数偏微分方程的加速副本交换随机梯度Langevin扩散增强Bayesian DeepONet（2021），arXiv预印本
[118] Molnar，J.P。；Grauer，S.J.，使用贝叶斯物理信息神经网络进行不确定性量化的流场层析成像（2021）
[119] Wang，N。；Chang，H。；张，D.，用理论指导的神经网络替代动态地下水流的有效不确定性量化，计算。方法应用。机械。工程，373，第113492条pp.（2021）·Zbl 1506.76178号
[120] 齐利维斯，P。；Ghosh，S.，使用条件归一化流进行不确定性下的逆向设计，（AIAA SCITECH 2022论坛（2021），AIAA科学技术论坛，美国航空航天研究所）
[121] 郭，L。；Wu，H。；Zhou，T.，规范化场流：使用物理信息流模型求解正向和反向随机微分方程（2021）
[122] 霍尔，E.J。；塔弗尼尔，S。；Katsoulakis，医学硕士。；Tartakovsky GINNs，D.M.，多尺度物理图形信息神经网络，J.Compute。物理。，433，第110192条pp.（2021）·Zbl 1515.62091号
[123] Ghanem，R.G。；Spanos，P.D.，《随机有限元：谱方法》（2003），多佛出版社
[124] Xiu，D.，《随机计算的数值方法》（2010），普林斯顿大学出版社·Zbl 1210.65002号
[125] Xiu，D.，《随机搭配方法：一项调查》（《不确定性量化手册》（2015）），第1-18页
[126] 马雷利，S。；Sudret，B.，UQLab:Matlab中的不确定性量化框架（2014），美国土木工程师学会
[127] 奥利维尔，A。；Giovanis，D.G。；Aakash，B。；Chauhan，M。；Vandanapu，L。；Shields，M.D.，UQpy：用于不确定性量化的通用python包和开发环境，J.Compute。科学。，第47条，第101204页（2020年）
[128] B.亚当斯。；Bohnhoff，W。；Dalbey，K。；埃贝达，M。；Eddy，J。；埃尔德雷德，M。；胡珀，R。；Hough，P。；胡克。；Jakeman Dakota，J.，《设计优化、参数估计、不确定性量化和灵敏度分析的多级并行面向对象框架：6.13版用户手册》（2020），桑迪亚国家实验室（SNL-NM）：桑迪亚国立实验室（SNL-NM），新墨西哥州阿尔伯克基（美国），技术报告
[129] 王，S。；Teng，Y。；Perdikaris，P.，《理解和缓解物理信息神经网络中的梯度流病理学》，SIAM J.Sci。计算。，43，A3055-A3081（2021）·Zbl 1530.68232号
[130] 麦克伦尼，L。；Braga-Neto，U.，使用软注意机制的自适应物理信息神经网络（2020年），arXiv预印本
[131] Psaros，A.F。；川口，K。；Karniadakis，G.E.，元学习PINN损失函数（2021），arXiv预印本·Zbl 07527733号
[132] 斯特拉托，B。；Van Parys，B.P。；Goulart，P.J.，具有估计平均值和方差的多元Chebyshev不等式，《美国统计》，71，123-127（2017）·Zbl 07671789号
[133] Tanno，R。；沃拉尔，D.E。；卡登，E。；Ghosh，A。；Grussu，F。；A.比齐。；Sotiropoulos，S.N。；克里米尼西，A。；Alexander，D.C.，《安全神经影像增强的深度学习中的不确定性建模：扩散MRI中的演示》，神经影像，225，第117366页，（2021）
[134] W.W.赖特，带输入不确定性的神经网络回归，（信号处理用神经网络VIII.信号处理用神经元网络VIII，1998年IEEE信号处理学会研讨会论文集（分类号98TH8378）（1998）），284-293
[135] Yang，Y。；基萨斯，G。；Perdikaris，P.，使用随机先验对深度运营商网络的可扩展不确定性进行量化（2022）·Zbl 1507.68280号
[136] X孟。；Yang，L。；毛，Z。；费兰迪斯，J.d.A。；Karniadakis，G.E.，从数据和物理中学习函数先验和后验（2021），arXiv预印本
[137] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》，（神经信息处理系统进展（2014）），2672-2680
[138] 张，D。；卢，L。；郭，L。；Karniadakis，G.E.，《量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性》，J.Compute。物理。，397，第108850条pp.（2019）·Zbl 1454.65008号
[139] 张，D。；郭，L。；Karniadakis，G.E.，《模态空间中的学习：使用物理信息神经网络求解依赖时间的随机偏微分方程》，SIAM J.Sci。计算。，42，A639-A665（2020）·Zbl 1440.60067号
[140] Wilson，A.G。；伊兹迈洛夫，P。；医学博士霍夫曼。；Gal，Y。；李毅。；普雷迪尔，M.F。；维克兰，S。；Foong，A。；洛菲，S。；Farquhar，S.，评估贝叶斯深度学习中的近似推理，（NeurIPS 2021竞赛和演示轨道，PMLR（2022）），113-124
[141] 奥斯本·I。；温，Z。；Asghari，S.M。；德瓦拉切拉，V。；郝，B。；易卜拉希米，M。；劳森，D。；卢，X。；O’Donoghue，B。；Van Roy，B.，《神经试验台：评估联合预测》（2022年）
[142] 阿舒卡，A。；Lyzhov，A。；Molchanov，D。；Vetrov，D.，深度学习领域内不确定性估计和集成的陷阱（2021）
[143] 钟，Y。；Char，I。；郭，H。；施耐德，J。；Neiswanger，W.，《不确定性工具箱：评估、可视化和改进不确定性量化的开源库》（2021）
[144] Schmähling，F。；马丁·J。；Elster，C.，深度回归中基准不确定性的框架，应用。智力。，1-14 (2022)
[145] Rudy，S。；Sapsis，T.，极端事件深度学习前兆的输出加权和相对熵损失函数（2021），arXiv预印本
[146] 皮克林，E。；Sapsis，T.P.，《量化不确定性质量的结构和分布度量：评估高斯过程、深层神经网络和回归深层神经算子》（2022年）
[147] Gneiting，T。；Balabdaoui，F。；Raftery，A.E.，《概率预测、校准和清晰度》，J.R.Stat.Soc.，Ser。B、 统计方法。，69, 243-268 (2007) ·Zbl 1120.62074号
[148] 库列舍夫，V。；Fenner，N。；Ermon，S.，《使用校准回归进行深度学习的准确不确定性》（2018），arXiv预印本
[149] 列维，D。；吉斯潘，L。；吉拉迪，N。；Fetaya，E.，评估和校准回归任务中的不确定性预测（2019年），arXiv预印本
[150] 宋，H。；Diethe，T。；Kull，M。；Flach，P.，回归分布校准（2019年），arXiv预印本
[151] 崔，P。；胡，W。；Zhu，J.，使用最大平均偏差校准可靠回归（2020年），arXiv预印本
[152] Zelikman，E。；希利，C。；周，S。；Avati，A.，CRUDE：实证校准回归不确定性分布（2020年）
[153] 赵，S。；马，T。；Ermon，S.，随机预测的个体校准（2020年），arXiv预印本
[154] 麦凯·D·J·高斯过程——监督神经网络的替代品？(1997)
[155] Nalisnick，E.T.，《贝叶斯神经网络先验研究》（2018），加州大学欧文分校博士论文
[156] 庞，G。；Karniadakis，G.E.，偏微分方程的基于物理的学习机器：高斯过程与神经网络，（非线性科学新兴前沿（2020），Springer），323-343
[157] 金，S.-K。；Wang，Y.，《海底模拟工程风险评估》（2014），John Wiley&Sons
[158] 奎诺内罗·坎德拉，J。；杉山，M。；Schwaighofer，A。；劳伦斯，N.D.，《机器学习中的数据集转换》（2008），麻省理工学院出版社
[159] 任，P。；Xiao，Y。；Chang，X。；黄，P.-Y。；李，Z。；古普塔，B.B。；陈，X。；Wang，X.，深度主动学习调查，ACM Compute。Surv公司。（CSUR），54，1-40（2021）
[160] Liang，S。；李毅。；Srikant，R.，增强神经网络中分布外图像检测的可靠性（2020年）
[161] 马丁·J。；Elster，C.，使用Fisher信息检查对抗性示例，神经计算，382，80-86（2020）
[162] 马丁·J。；Elster，C.，检测神经网络的异常输入，应用。智力。，512198年至2209年（2021年）
[163] 王，R。；Chen，Z。；Dong，H。；Xuan，Q.，你不能愚弄所有模型：通过修剪模型检测对手样本，IEEE Access，9163780-163790（2021）
[164] 亨德里克斯，D。；Gimpel，K.，《神经网络中检测错误分类和分布外示例的基线》（2018年）
[165] Lao，J。；苏特，C。；Langmore，I。；奇米索夫，C。；Saxena，A。；苏恩佐夫，P。；摩尔，D。；苏鲁斯，R.A。；医学博士霍夫曼。；Dillon，J.V.，Tfp.mcmc：为现代硬件构建的现代马尔可夫链蒙特卡罗工具（2020）
[166] Daxberger，E。；Kristiadi，A。；Immer，A。；Eschenhagen，R。；Bauer，M。；Hennig，P.，Laplace Redux-Effortless Bayesian deep learning（2021），arXiv预印本
[167] Alemi，A.A。；费舍尔，I。；Dillon，J.V。；Murphy，K.，深度变化信息瓶颈（2016），arXiv预印本
[168] Alemi，A.A。；费舍尔，I。；Dillon，J.V.，《变化信息瓶颈中的不确定性》（2018），arXiv预印本
[169] 佐治亚州戈德菲尔德。；Polyanskiy，Y.，《信息瓶颈问题及其在机器学习中的应用》，IEEE J.Sel。区域信息理论，119-38（2020）
[170] 赵，R。；Ji，Q.，贝叶斯神经网络贝叶斯推理方法的实证评估，（NIPS贝叶斯深度学习（BDL）研讨会（2018））
[171] Ruder，S.，梯度下降优化算法综述（2017）
[172] Ghosh，S。；姚，J。；Doshi Velez，F.，通过马蹄形先验的贝叶斯神经网络中的模型选择，J.马赫。学习。决议，20，1-46（2019年）·Zbl 1433.68392号
[173] 弗图因，V。；Garriga-Alonso，A。；温泽尔，F。；Rätsch，G。；特纳，R。；范德威尔克，M。；Aitchison，L.，贝叶斯神经网络回顾（2021年）
[174] Germain，P。；巴赫，F。；鳄鱼，A。；Lacoste-Julien，S.，PAC-Baysian理论符合贝叶斯推断（2017）
[175] 温泽尔，F。；Roth，K。；韦林，B.S。；Swiatkowski，J。；Tran，L。；Mandt，S。；斯诺克，J。；Salimans，T。；Jenatton，R。；Nowozin，S.，深度神经网络中的贝叶斯后验真的有多好？（2020），arXiv预印本
[176] Grünwald，P。；van Ommen，T.，错误指定线性模型的贝叶斯推理不一致性及其修复建议，贝叶斯分析。，12, 1069-1103 (2017) ·兹比尔1384.62088
[177] 莱姆库勒，B。；马修斯，C。；Vlaar，T.，神经网络热力学参数化的分区积分器（2020）
[178] 张，R。；李，C。；张杰。；陈，C。；Wilson，A.G.，贝叶斯深度学习的循环随机梯度MCMC（2019），arXiv预印本
[179] 卡普尔，S。；马多克斯，W.J。；伊兹迈洛夫，P。；Wilson，A.G.，《关于贝叶斯分类中的不确定性、缓和和数据增强》（2022年），arXiv预印本
[180] Rasmussen，C.E.，机器学习中的高斯过程，（机器学习暑期学校（2003），Springer），63-71·Zbl 1120.68436号
[181] Blei Build，D.M.，计算，批判，重复：潜在变量模型的数据分析，年度。修订状态申请。，1, 203-232 (2014)
[182] Betancourt，M.，《哈密尔顿蒙特卡罗概念介绍》（2017），arXiv预印本
[183] 希法拉，T。；夏洛克，C。；利文斯顿，S。；拜恩，S。；Girolma，M.，《朗之万扩散和大都会调整的朗之万算法》，Stat.Probab。莱特。，91, 14-19 (2014) ·Zbl 1298.60081号
[184] 韦林，M。；Teh，Y.W.，通过随机梯度Langevin动力学进行贝叶斯学习，（第28届国际机器学习会议论文集（ICML-11）（2011）），681-688
[185] Chen，T。；福克斯，E。；Guestrin，C.，随机梯度Hamilton Monte Carlo，（国际机器学习会议（2014）），1683-1691
[186] 陈，Y。；陈，J。；Dong，J。；彭杰。；Wang，Z.，通过副本交换加速非凸学习Langevin扩散（2020）
[187] 邓，W。；冯，Q。；高，L。；梁，F。；Lin，G.，基于副本交换随机梯度的非凸学习MCMC，（第37届机器学习国际会议论文集，PMLR（2020）），2474-2483
[188] 邓，W。；冯，Q。；Karagiannis，G。；林·G。；Liang，F.，通过方差减少加速副本交换随机梯度MCMC的收敛（2021）
[189] Ahn，S。；科拉提卡拉，A。；Welling，M.，通过随机梯度Fisher评分进行贝叶斯后验抽样（2012）
[190] 李，C。；陈，C。；卡尔森，D。；Carin，L.，深度神经网络的预处理随机梯度Langevin动力学（2015）
[191] Kim，S。；宋，Q。；Liang，F.，具有自适应漂移的随机梯度Langevin动力学算法（2020年）
[192] Delyon，B。；拉维尔，M。；Moulines，E.，EM算法随机近似版本的收敛，《Ann.Stat.》，27，94-128（1999）·Zbl 0932.62094号
[193] Gelfand，A.E。；Hills，东南部。；Racine-Poon，A。；Smith，A.F.M.，《使用吉布斯抽样对正常数据模型中贝叶斯推断的说明》，美国统计协会，85，972-985（1990）
[194] Kingma，D.P。；Welling，M.，《变分自动编码器简介》，Found。趋势马赫。学习。，12, 307-392 (2019) ·Zbl 1431.68002号
[195] Foong，A。；伯特，D。；李毅。；Turner，R.，《关于贝叶斯神经网络中近似推理的表达性》，《高级神经信息处理》。系统。，33, 15897-15908 (2020)
[196] 布伦德尔，C。；科内比斯，J。；Kavukcuoglu，K。；Wierstra，D.，神经网络中的权重不确定性，（机器学习国际会议，PMLR（2015）），1613-1622
[197] Kingma，D.P。；Salimans，T。；Welling，M.，变分辍学和局部重新参数化技巧，（神经信息处理系统进展（2015）），2575-2583
[198] 路易斯，C。；Welling，M.，变分贝叶斯神经网络的乘法归一化流，（机器学习国际会议，PMLR（2017）），2218-2227
[199] Mescheder，L。；Nowozin，S。；Geiger，A.，《对抗性变分贝叶斯：统一变分自动编码器和生成性对抗网络》（2018）
[200] 赵，J。；刘，X。；He，S。；Sun，S.，贝叶斯神经网络的概率推理与广义期望传播，神经计算，412392-398（2020）
[201] Bai，J。；宋，Q。；Cheng，G.，具有理论保证的稀疏深度学习的有效变分推理（2020），arXiv预印本
[202] 张，R。；李毅。；德萨，C。；德夫林，S。；张，C.，变分推理的元学习分歧，（国际人工智能与统计会议，PMLR（2021）），4024-4032
[203] Unlu，A。；Aitchison，L.，贝叶斯神经网络的变分拉普拉斯（2021），arXiv预印本
[204] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2014）
[205] Sohn，K。；Lee，H。；Yan，X.，《使用深层条件生成模型学习结构化输出表示法》，《神经信息处理系统进展》，第28卷（2015年），Curran Associates，Inc。
[206] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过度拟合的简单方法》，J.Mach。学习。1929-1958年第15号决议（2014年）·Zbl 1318.68153号
[207] 博鲁基，S。；Ardywibowo，R。；Dadaneh，S.Z。；周，M。；Qian，X.，贝叶斯深度学习的可学习贝努利辍学，（第二十三届国际人工智能与统计会议论文集，PMLR（2020）），3905-3916
[208] Denker，J.S。；LeCun，Y.，将神经网络输出水平转换为概率分布，（神经信息处理系统进展（1991）），853-859
[209] MacKay，D.J.，《概率网络和似然预测——监督神经网络实用贝叶斯方法综述》，Netw。计算。神经系统。，6, 469-505 (1995) ·Zbl 0834.68098号
[210] Immer，A。；Bauer，M。；弗图因，V。；Rätsch，G。；Khan，M.E.，深度学习中模型选择的可扩展边际似然估计（2021），arXiv预印本
[211] Martens，J.，《自然梯度法的新见解和观点》（2014），arXiv预印本
[212] Ritter，H。；Botev，A。；Barber，D.，《神经网络的可扩展拉普拉斯近似法》，（第六届学习表征国际会议，ICLR 2018-会议跟踪记录。第六届国际学习表征会议，ICRL 2018--会议跟踪记录，国际表征学习会议，第6卷（2018））
[213] Ritter，H。；Botev，A。；Barber，D.，克服灾难性遗忘的在线结构拉普拉斯近似（2018），arXiv预印本
[214] Lee，J。；Humt，M。；冯，J。；Triebel，R.，以稀疏信息形式估计神经网络的模型不确定性，（机器学习国际会议，PMLR（2020）），5702-5713
[215] Immer，A。；科尔泽帕，M。；Bauer，M.，通过局部线性化改进贝叶斯神经网络的预测，（人工智能和统计国际会议，PMLR（2021）），703-711
[216] 达克斯伯格，E。；Nalisnick，E。；阿林厄姆，J.U。；Antoran，J。；Hernandez-Lobato，J.M.，《基于子网络推理的贝叶斯深度学习》，第38届机器学习国际会议论文集，PMLR（2021），2510-2521
[217] 马修斯，A.G.d.G。；Hron，J。；特纳，R。；Ghahramani，Z.，《贝叶斯线性模型的样本后验优化抽样》，（神经信息处理系统进展（2018））
[218] Pearce，T。；Leibfried，F。；Brintrup，A.，《神经网络中的不确定性：近似贝叶斯集成》，（国际人工智能与统计会议，PMLR（2020）），234-244
[219] 伊兹迈洛夫，P。；波多里钦，D。；加里波夫，T。；Vetrov，D。；Wilson，A.G.，平均权重导致更广泛的优化和更好的泛化（2019）
[220] Burda，Y。；爱德华兹，H。；Storkey，A。；Klimov，O.，《随机网络蒸馏探索》（2018），arXiv预印本
[221] Hospedales，T。；安东尼奥，A。；Michaelli，P。；Storkey，A.，《神经网络中的元学习：一项调查》（2020年）
[222] Flam-Shepherd，D。；雷奎玛，J。；Duvenaud，D.，在贝叶斯神经网络之前映射高斯过程，（NIPS贝叶斯深度学习研讨会（2017））
[223] 哈夫纳，D。；Tran，D。；Lillicrap，T.公司。；Irpan，A。；Davidson，J.，功能不确定性的噪声对比先验（2018），arXiv预印本
[224] 杨伟（Yang，W.）。；Lorch，L。；Graule，医学硕士。；Srinivasan，S。；Suresh，A。；姚，J。；普雷迪尔，M.F。；Doshi-Velez，F.，输出约束贝叶斯神经网络（2019），arXiv预印本
[225] Pearce，T。；津田，R。；Zaki，M。；Brintrup，A。；Neely，A.，《贝叶斯神经网络中的表达先验：核组合和周期函数》，（第35届人工智能不确定性会议论文集，PMLR（2020）），134-144
[226] Nalisnick，E。；戈登，J。；Hernandez-Lobato，J.M.，预测复杂性先验，（第24届国际人工智能与统计会议论文集，PMLR（2021）），694-702
[227] 古拉贾尼，I。；艾哈迈德·F。；Arjovsky，M。；杜穆林，V。；Courville，A.C.，《Wasserstein GANs改进训练》（神经信息处理系统进展（2017）），5767-5777
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。