帕纳吉奥塔·宾帕;冯金超;Markos A.Katsoulakis。;吕克·雷·贝莱特 有向图形模型的模型不确定性和可纠正性。 （英语） Zbl 1498.62112号 SIAM/ASA J.不确定性。数量。 10, 1461-1512 (2022). 概要：概率图形模型是概率建模、机器学习和人工智能的基本工具。它们允许我们以自然的方式集成专家知识、物理建模、异构和相关数据以及感兴趣的数量。正是由于这个原因，图形模型的模块化结构中固有了多种模型不确定性来源。本文针对有向图形模型开发了信息理论、稳健的不确定性量化方法和非参数压力测试，以评估多源模型不确定性对感兴趣数量的影响和通过图形的传播。这些方法允许我们对不确定性的不同来源进行排序，并通过针对感兴趣的数量对其最具影响力的组件进行校正。因此，从机器学习的角度来看，我们提供了一种数学上严格的可纠正性方法，确保系统地选择改进图形模型的组件，同时控制模型其他部分过程中产生的潜在新错误。我们在两个物理化学示例中演示了我们的方法，即量子尺度信息化学动力学和材料筛选，以提高燃料电池的效率。 MSC公司： 62H22个 概率图形模型 第60页 统计学在工程和工业中的应用；控制图 68层37 人工智能背景下的不确定性推理 80A30型 热力学和传热中的化学动力学 93B35型 灵敏度（稳健性） 94甲17 信息的度量，熵 关键词：贝叶斯网络;不确定性量化;敏感性分析;压力测试;信息不平等;可纠正性 软件：TETRAD公司;最近的隔间;PRMLT公司;罗马 PDF格式BibTeX公司 XML格式引用 \textit｛P.Birmpa｝等人，SIAM/ASA J.不确定。数量。101461-1512（2022年；Zbl 1498.62112） 全文： 内政部 arXiv公司 参考文献： [1] Adadi，A.和Berrada，M.，《暗箱中窥探：可解释人工智能（XAI）的调查》，IEEE Access，6（2018），第52138-52160页，doi:10.1109/Access.2018.2870052。 [2] Antoine，O.、Bultel，Y.和Durand，R.，Nafion中铂纳米粒子的氧还原反应动力学和机理，J.Electroanal。化学。，499（2001），第85-94页。 [3] Aronsky，D.和Haug，P.J.，用贝叶斯网络诊断社区获得性肺炎，载于《AMIA研讨会论文集》，美国医学信息学协会，1998年，第632-636页。 [4] Belghazi，M.I.、Baratin，A.、Rajeshwar，S.、Ozair，S.，Bengio，Y.、Courville，A.和Hjelm，D.，交互信息神经估计，《第35届机器学习国际会议论文集》，PMLR，2018年，第531-540页，http://proceedings.mlr.press/v80/belghazi18a.html。 [5] Birmpa，P.和Katsoulakis，M.A.，马尔可夫随机场的不确定性量化，SIAM/ASA J.不确定性。数量。，9（2021），第1457-1498页，doi:10.1137/20M1374614·Zbl 1473.62197号 [6] Birrell，J.、Dupuis，P.、Katsoulakis，M.A.、Pantazis，Y.和Rey-Bellet，L.，（（f，Gamma）-分歧：f分歧和积分概率度量之间的插值，J.Mach。学习。Res.，23（2022），第1-70页·兹比尔07625192 [7] Birrell，J.、Dupuis，P.、Katsoulakis，M.A.、Rey-Bellet，L.和Wang，J.，《雷诺发散的变分表示和神经网络估计》，预印本，https://arxiv.org/abs/2007.03814, 2021. ·Zbl 1477.94037号 [8] Birrell，J.、Katsoulakis，M.和Rey-Bellet，L.，通过面向目标的信息理论实现的动态感兴趣量的稳健性，预印本，https://arxiv.org/abs/1906.09282, 2019. [9] Birrell，J.和Rey-Bellet，L.，通过变分原理和函数不等式对马尔可夫过程进行不确定性量化，SIAM/ASA J.不确定性。数量。，8（2020），第539-572页，doi:10.1137/19M1237429·Zbl 1501.47073号 [10] Bishop，C.M.，模式识别和机器学习（信息科学和统计），Springer-Verlag，纽约，2006年·Zbl 1107.68072号 [11] Blanchet，J.、Lam，H.、Tang，Q.和Yuan，Z.，稳健精算风险分析，北美。演员。J.，23（2019），第33-63页，doi:10.1080/10920277.2018.1504686·Zbl 1411.91266号 [12] Blanchet，J.和Murthy，K.，通过最优运输量化分配模型风险，数学。操作。研究，44（2019），第565-600页，doi:10.1287/moor.2018.936·Zbl 1434.60113号 [13] Burges，C.、Hart，T.、Yang，Z.、Cucerzan，S.、White，R.W.、Pastusiak，A.和Lewis，J.，《人工智能扩展大本营》，预印本，https://arxiv.org/abs/1612.07896, 2016. [14] Calle-Vallejo，F.，Tymoczko，J.，Colic，V.，Vu，Q.H.，Pohl，M.D.，Morgenstern，K.，Loffreda，D.，Sautet，P.，Schuhmann，W.，and Bandarenka，A.S.，《通过计算最近邻找到多相催化剂上的最佳表面位置》，《科学》，350（2015），第185-189页。 [15] Chowdhary，K.和Dupuis，P.，区分和整合不确定性量化中的任意变量和认知变量，ESAIM数学。模型。数字。分析。，47（2013），第635-662页·Zbl 1266.65009号 [16] Cover，T.M.和Thomas，J.A.，《信息理论的要素》，John Wiley&Sons出版社，2012年·Zbl 1140.94001号 [17] Delage，E.和Ye，Y.，《力矩不确定性下的分布稳健优化及其在数据驱动问题中的应用》，Oper。研究，58（2010），第595-612页，doi:10.1287/opre.1090.0741·Zbl 1228.90064号 [18] Ding，M.、Daskalakis，C.和Feizi，S.，具有条件独立图的GANs：关于概率差的次加性，发表在《第24届人工智能与统计国际会议论文集》（AISTATS）上，PMLR，2021。 [19] Doshi-Velez，F.和Kim，B.，《走向可解释机器学习的严格科学》，预印本，https://arxiv.org/abs/1702.08608, 2017. [20] Dupuis，P.和Ellis，R.S.，《大偏差理论的弱收敛方法》，John Wiley&Sons，2011年·Zbl 0904.60001号 [21] Dupuis，P.、Katsoulakis，M.A.、Pantazis，Y.和Plechánch，P.，随机动力学不确定性量化和敏感性分析的路径空间信息界限，SIAM/ASA J.不确定性。数量。，4（2016），第80-111页，doi:10.1137/15M1025645·Zbl 1371.65004号 [22] Dupuis，P.、Katsoulakis，M.A.、Pantazis，Y.和Rey-Bellet，L.，《基于Rényi散度的罕见事件敏感性分析》，预印本，https://arxiv.org/abs/1805.06917, 2018. ·Zbl 1464.60024号 [23] Dupuis，P.和Mao，Y.，《用于比较无绝对连续性概率测度的发散公式和性质》，预印本，https://arxiv.org/abs/1911.07422, 2019. ·兹比尔1478.60008 [24] Feng，J.、Lansford，J.，Mironenko，A.、Pourkargar，D.B.、Vlachos，D.G.和Katsoulakis，M.A.，《非参数相关不确定度量化和灵敏度分析：Langmuir双分子吸附模型的应用》，AIP Adv.，8（2018），035021。 [25] Feng，J.、Lansford，J.L.、Katsoulakis，M.A.和Vlachos，D.G.，《可解释和值得信赖的人工智能在化学科学中的可纠正建模》，《科学》。Adv.，6（2020），doi:10.1126/sciadv.abc3204。 [26] Friedman，N.、Linial，M.、Nachman，I.和Peer，D.，《使用贝叶斯网络分析表达数据》，J.Compute。《生物学》，第7期（2000年），第601-620页。 [27] Fung，R.和Del Favero，B.，《将贝叶斯网络应用于信息检索》，Commun。ACM，38（1995），第42-ff页。 [28] Gao，R.和Kleywegt，A.J.，具有Wasserstein距离的分布鲁棒随机优化，预印本，https://arxiv.org/abs/1604.02199, 2016 [29] Genevay，A.，Peyré，G.和Cuturi，M.，GAN和VAE从最佳运输角度出发，预印本，https://arxiv.org/abs/1706.01807, 2017 [30] Genevay，A.、Peyré，G.和Cuturi，M.。学习Sinkhorn分歧的生成模型，《国际人工智能与统计会议》，PMLR，2018年，第1608-1617页。 [31] Ghahramani，Z.，概率机器学习和人工智能，《自然》，521（2015），第452-459页，doi:10.1038/nature14541。 [32] Glaser，P.、Arbel，M.和Gretton，A.，《KALE流：不相交支持概率的松弛KL梯度流》，预印本，https://arxiv.org/abs/2106.08929, 2019 [33] Goh，J.和Sim，M.，《分布稳健优化及其可处理近似》，Oper。研究，58（2010），第902-917页，doi:10.1287/opre.1090.795·Zbl 1228.90067号 [34] 戈梅斯·维莱加斯，M.á。，Main，P.、Navarro，H.和Susi，R.，《评估高斯贝叶斯网络中图形结构之间的差异》，专家系统。申请。，38（2011），第12409-12414页。 [35] Gómez-Villegas，M.A.、Maín，P.和Susi，R.，使用散度度量的高斯贝叶斯网络灵敏度分析，Commun。《统计理论方法》，36（2007），第523-539页·兹比尔1109.62023 [36] Gómez-Villegas，M.A.、Main，P.和Susi，R.，高斯贝叶斯网络中块参数扰动的影响：灵敏度和鲁棒性，Inform。科学。，222（2013），第439-458页·Zbl 1293.62139号 [37] Gourgoulias，K.、Katsoulakis，M.、Rey-Bellet，L.和Wang，J.，你的模型有多偏颇？集中不等式，信息和模型偏差，IEEE Trans。通知。《理论》，66（2020），第3079-3097页·Zbl 1448.94102号 [38] Gunning，D.和Aha，D.，Darpa的可解释人工智能（XAI）程序，AI Mag.，40（2019），第44-58页，doi:10.1609/aimag.v40i2.2850。 [39] Hall，E.J.和Katsoulakis，M.A.，随机PDE中稀疏数据引起的模型形式不确定性的稳健信息分歧，SIAM/ASA J.不确定性。数量。，6（2018），第1364-1394页，doi:10.1137/17M1143344·Zbl 07003639号 [40] Hall，E.J.、Taverniers，S.、Katsoulakis，M.A.和Tartakovsky，D.M.、Ginns:《多尺度物理的图形信息神经网络》，J.Compute。物理。，433（2021），110192，doi:10.1016/j.jp.2021.110192·兹比尔1515.62091 [41] Hansen，L.P.和Sargent，T.J.，《稳健》，普林斯顿大学出版社，2008年，http://www.jstor.org/stable/j.ctt1dr35gx。 ·Zbl 1134.93001号 [42] Heckerman，D.、Horvitz，E.和Nathwani，B.N.，《走向规范化专家系统》，第一部分，《方法与医学》，31（2016），第90-105页。 [43] Holewinski，A.和Linic，S.，《电催化的基本机制：重新审视ORR Tafel斜率》，《电化学杂志》。Soc.，159（2012），H864。 [44] Jiang，R.和Guan，Y.，数据驱动的机会约束随机程序，数学。程序。，158（2016），第291-327页，doi:10.1007/s10107-015-0929-7·Zbl 1346.90640号 [45] Kandasamy，K.、Krishnamurthy，A.、Póczos，B.、Wasserman，L.和Robins，J.M.，熵、发散和互信息的非参数von Mises估计量，《第28届神经信息处理系统国际会议论文集》，麻省理工学院出版社，马萨诸塞州剑桥，2015年，第397-405页·Zbl 0714.65036号 [46] Kapteyn，M.G.、Pretorius，J.V.R.和Willcox，K.E.，《实现大规模预测数字双胞胎的概率图形模型基础》，预印本，https://arxiv.org/abs/2012.05841, 2020. [47] Katsoulakis，M.A.、Rey-Bellet，L.和Wang，J.，《不确定性量化的可伸缩信息不等式》，J.Compute。物理。，336（2017），第513-545页·Zbl 1375.82043号 [48] Koller，D.和Friedman，N.，《概率图形模型：原理和技术》，麻省理工学院出版社，2009年·Zbl 1183.68483号 [49] Lam，H.，《通过基于经验偏差的分布稳健优化恢复最佳统计保证》，预印本，https://arxiv.org/abs/1605.09349, 2016. [50] Lazkano，E.、Sierra，B.、Astigraraga，A.和Martinez-Otzeta，J.M.，《关于使用贝叶斯网络开发移动机器人行为》，Rob。自动。系统。，55（2007年），第253-265页。 [51] Levitt，T.S.、Agosta，J.M.和Binford，T.O.，机器视觉基于模型的影响图，马赫。智力。图案识别。，10（1990年），第371-388页，爱思唯尔出版社·兹比尔0721.68099 [52] Miller，T.，《人工智能解释：来自社会科学的见解》，Artif。智力。，267（2019），第1-38页，doi:10.1016/j.artint.2018.07.007·Zbl 1478.68274号 [53] Esfahani，P.Mohajerin和Kuhn，D.，《使用Wasserstein度量的数据驱动分布式稳健优化：性能保证和可控制的重新设计》，数学。程序。，171（2018），第115-166页，doi:10.1007/s10107-017-1172-1·Zbl 1433.90095 [54] Moon，K.R.、Sricharan，K.和Hero，A.O.，相互信息的集合估计，IEEE信息理论国际研讨会（ISIT），2017年，第3030-3034页，doi:10.1109/ISIT.2017.8007086。 [55] Müller，A.，《积分概率度量及其函数生成类》，Adv.Appl。概率。，29（1997），第429-443页，http://www.jstor.org/stable/1428011。 ·Zbl 0890.60011号 [56] Nguyen，X.，Wainwright，M.J.和Jordan，M.I.，通过凸风险最小化估计发散泛函和似然比，IEEE Trans。通知。理论，56（2010），第5847-5861页·兹比尔1366.62071 [57] Owhadi，H.、Scovel，C.、Sullivan，T.J.、McKerns，M.和Ortiz，M.，《最佳不确定性量化》，SIAM Rev.，55（2013），第271-345页，doi:10.1137/10080782X·Zbl 1278.60040号 [58] Pearl，J.，《智能系统中的概率推理：合理推理网络》，Morgan Kaufmann，Los Altos，CA，1988年·Zbl 0746.68089号 [59] Pearl，J.，《智能系统中的概率推理：合理推理网络》，Elsevier，2014年·Zbl 0746.68089号 [60] Pérez-Cruz，F.，连续随机变量的信息理论测度估计，摘自《神经信息处理系统的进展》，Koller，D.，Schuurmans，D.，Bengio，Y.，and Bottou，L.，eds.，Curran Associates，2009年，https://proceedings.neurips.cc/paper/2008/file/ccb0989662211f61edae2e26d58ea92f-paper.pdf。 [61] Rasheed，A.、San，O.和Kvamsdal，T.，《数字孪生：从建模角度来看的价值、挑战和使能技术》，IEEE Access，8（2020），第21980-22012页，doi:10.1109/ACCES.2020.2970143。 [62] Rothenberg，G.，Catalystis，John Wiley&Sons，2008，doi:10.1002/9783527621866.ch2。 [63] Setzler，B.P.，Zhuang，Wittkopf，J.A.和Yan，Y.，氢氧化物交换膜燃料电池中纳米结构铂族无金属催化剂的活性目标，国家纳米技术。，11（2016），第1020-1025页。 [64] Shachter，R.D.和Kenley，C.R.，《高斯影响图》，马纳。科学。，35（1989），第527-550页，http://www.jstor.org/stable/2632102。 [65] Smith，R.C.，《不确定性量化：理论、实施和应用》，SIAM，费城，2013年。 [66] Spites，P.、Glymour，C.N.、Scheines，R.、Heckerman，D.、Meek，C.、Cooper，G.和Richardson，T.，因果关系、预测和搜索，麻省理工出版社，2000年。 [67] Suen，N.-T.、Hung，S.-F.、Quan，Q.、Zhang，N.、Xu，Y.-J.和Chen，H.M.，《析氧反应的电催化：最近发展和未来展望》，化学。《社会学评论》，46（2017），第337-365页。 [68] Sutton，J.E.、Guo，W.、Katsoulakis，M.A.和Vlachos，D.G.，基于电子结构的化学动力学建模中相关参数和不确定性的影响，自然化学。，8（2016），第331-337页，doi:10.1038/NCHEM.2454。 [69] Um，K.，Hall，E.J.，Katsoulakis，M.A.和Tartakovsky，D.M.，多孔介质多尺度表示的因果关系和贝叶斯网络，J.Compute。物理。，394（2019），第658-678页，doi:10.1016/j.jcp.2019.06.007·兹比尔1453.62422 [70] Wang，Q.，Kulkarni，S.R.和Verdu，S.，估计连续随机向量之间散度的最近邻方法，2006年IEEE信息理论国际研讨会，2006年，第242-246页，doi:10.1109/ISIT.2006.261842。 [71] Wang，Q.，Kulkarni，S.R.和Verdu，S.，通过k近邻距离对多维密度进行散度估计，IEEE Trans。通知。理论，55（2009），第2392-2405页，doi:10.1109/TIT.2009.201606·Zbl 1367.94141号 [72] Wasserman，L.，《所有非参数统计》，Springer，纽约，2006年·1099.62029兹比尔 [73] Wasserman，L.，《所有统计学：统计推断简明教程》，Springer科学与商业媒体，2013年·Zbl 1053.62005年 [74] Wiesemann，W.、Kuhn，D.和Sim，M.，分布鲁棒凸优化，Oper。研究，62（2014），第1358-1376页，doi:10.1287/opre.2014.1314·Zbl 1327.90158号 [75] Xie，W.和Ahmed，S.，关于分布鲁棒联合机会约束优化问题的确定性重新表述，SIAM J.Optim。，28（2018），第1151-1182页，doi:10.1137/16M1094725·Zbl 1390.90412号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。