穆罕默德·阿里·贾维迪安;马尔科·瓦尔托塔;Pooyan Jamshidi AMP链图：最小分隔符和结构学习算法。 （英文） Zbl 1490.68186号 J.人工制品。智力。研究（JAIR） 69, 419-470 (2020). 摘要：本文讨论了链图（CG）在一安德森-M（M）阿迪根语-对埃尔曼（AMP）解释。我们解决了在AMP CG中找到最小分隔符的问题，即找到一组节点（Z），这些节点将给定的非相邻节点对分隔开，这样就没有合适的子集（Z）将该对分隔开。我们分析了这个问题的几个版本，并提供多项式时间算法。这包括从一组受限节点中找到一个最小分隔符，为两个给定的不相交集找到一个最大分隔符，以及测试给定的分隔符是否最小。为了解决从数据中学习AMP CG结构的问题，我们表明个人计算机-喜欢算法是顺序相关的，因为输出可以取决于变量的给定顺序。我们建议对个人计算机-喜欢删除部分或全部顺序依赖关系的算法。我们还扩展了基于分解的贝叶斯网络学习方法，以在信度假设下学习AMP CG，其中包括作为特例的BN。我们使用最小分隔符结果证明了我们扩展的正确性。在我们的实验中使用标准基准和综合生成的模型和数据，证明了我们基于分解的方法（称为LCD-AMP（液晶显示器-放大器），与（的修改版本）相比个人计算机-喜欢算法。这个LCD-AMP（液晶显示器-放大器）算法通常优于个人计算机-喜欢算法，以及我们对个人计算机-喜欢算法学习的结构与原始的基本事实图更相似个人计算机-喜欢算法，尤其是在高维设置中。特别是，我们的经验表明，当样本量相当大且底层图形稀疏时，这两种算法的结果更准确、更稳定。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H22个 概率图形模型 68层37 人工智能背景下的不确定性推理 关键词：贝叶斯网络;概率推理;机器学习;数据挖掘 软件：TETRAD公司;bn学习;MIM公司;gRapHD公司;Agena风险;BENEDICT公司;冰雹探测器;R（右） PDF格式BibTeX公司 XML格式引用 \textit{M.A.Javidian}等人，J.Artif。智力。研究（JAIR）69，419--470（2020；Zbl 1490.68186） 全文： 内政部 arXiv公司 参考文献： [1] Abramson，B.、Brown，J.、Edwards，W.、Murphy，A.和Winkler，R.L.（1996）。冰雹探测仪：用于预测恶劣天气的贝叶斯系统。国际预测杂志，12（1），57-71。概率判断预测。 [2] Acid，S.和de Campos，L.M.（1996）。一种在信念网络中寻找最小d-分离集的算法。《第十二届人工智能不确定性国际会议论文集》，第3-10页。 [3] Acid，S.和de Campos，L.M.（2001）。学习信念网络的混合方法：BENEDICT。国际近似推理杂志，27（3），235-262·兹伯利0983.68197 [4] Anandkumar，A.、Tan，V.Y.F.、Huang，F.和Willsky，A.S.（2012年）。伊辛模型中的高维结构估计：局部分离准则。安.统计师。，40(3), 1346-1375. ·Zbl 1297.62124号 [5] Andersson，S.A.、Madigan，D.和Perlman，M.D.（1996年）。链图的另一种马尔可夫性质。Horvitz，E.和Jensen，F.V.（编辑），《第十二届人工智能不确定性会议论文集》，第40-48页。 [6] Andersson，S.A.、Madigan，D.和Perlman，M.D.（2001年）。链图的可选马尔可夫性质。《斯堪的纳维亚统计杂志》，28（1），33-85·Zbl 0972.60067号 [7] Andersson，S.A.和Perlman，M.D.（2006年）。刻画AMP链图模型的马尔可夫等价类。《统计年鉴》，34（2），939-972·兹比尔1096.62097 [8] Andrews，B.、Ramsey，J.和Cooper，G.F.（2018年）。混合变量贝叶斯网络评分。国际数据科学与分析杂志，6（1），3-18。 [9] Banerjee，O.、Ghaoui，L.E.和d'Aspremont，A.（2008）。多元高斯或二进制数据的稀疏最大似然估计模型选择。机器学习研究杂志，9485-516·Zbl 1225.68149号 [10] Beinlich，I.A.、Suermondt，H.J.、Chavez，R.M.和Cooper，G.F.（1989）。报警监控系统：一个案例研究，包含两种信念网络概率推理技术。亨特·J、库克森·J和怀亚特·J（编辑），AIME 89，第247-256页，柏林，海德堡。施普林格·柏林-海德堡。 [11] Berry，A.、Blair，J.、Heggenes，P.和Peyton，B.（2004）。计算图的最小三角化的最大基数搜索。《算法》，39，287-298·Zbl 1090.68080号 [12] Binder，J.、Koller，D.、Russell，S.和Kanazawa，K.（1997年）。带隐变量的自适应概率网络。机器学习，29（2），213-244·Zbl 0892.68079号 [13] Bresler，G.、Mossel，E.和Sly，A.（2008年）。从样本重建马尔可夫随机场：一些观察和算法。在Goel，A.、Jansen，K.、Rolim，J.D.P.和Rubinfeld，R.（编辑）《近似、随机化和组合优化》中。《算法与技术》，第343-356页，柏林，海德堡。施普林格-柏林-海德堡出版社·兹比尔1159.68636 [14] Bromberg，F.、Margaritis，D.和Honavar，V.（2009年）。使用独立性测试的高效马尔可夫网络结构发现。J.人工制品。国际研究，35（1），449-484·Zbl 1192.68817号 [15] Chow，C.和Liu，C.（1968年）。用依赖树逼近离散概率分布。IEEE信息理论汇刊，14（3），462-467·Zbl 0165.22305号 [16] Colombo，D.和Maathuis，M.H.（2014）。基于顺序依赖约束的因果结构学习。机器学习研究杂志，15（1），3741-3782·兹比尔1312.68165 [17] Cooper，G.F.（1990年）。使用贝叶斯信念网络进行概率推理的计算复杂性。人工智能，42（2），393-405·Zbl 0717.68080号 [18] Cormen，T.H.、Leiserson，C.E.、Rivest，R.L.和Stein，C.（2009年）。算法导论，第三版（第三版）。麻省理工学院出版社·Zbl 1187.68679号 [19] Cowell，R.、Dawid，A.P.、Lauritzen，S.和Spiegelhalter，D.J.（1999）。概率网络和专家系统。工程与信息科学统计。SpringerVerlag·Zbl 0937.68121号 [20] Cox，D.R.和Wermuth，N.（1993年）。链图表示的线性相关性。统计科学，8（3），204-218·Zbl 0955.62593号 [21] Cox，D.R.和Wermuth，N.（1996年）。多元相关性——模型、分析和解释。查普曼和霍尔·Zbl 0880.62124号 [22] de Abreu，G.、Labouriau，R.和Edwards，D.（2010a）。使用gRapHD R包进行高维图形模型搜索。统计软件杂志，文章，37（1），1-18。 [23] de Abreu，G.、Labouriau，R.和Edwards，D.（2010年b）。使用最小AIC或BIC森林选择高维混合图形模型。BMC生物信息学，11（18）。 [24] Drton，M.（2009年）。离散链图模型。伯努利，15（3），736-753·Zbl 1452.62348号 [25] Edelkamp，S.和Schroedl，S.（2011年）。启发式搜索：理论与应用。Morgan Kaufmann Publishers Inc.，美国加利福尼亚州旧金山。 [26] Edwards，D.（2000年）。图形建模简介。第2版，纽约州斯普林格·弗拉格·Zbl 0952.62003号 [27] Fenton，N.和Neil，M.（2018）。贝叶斯网络风险评估和决策分析（第二版）。查普曼和霍尔/CRC，纽约·Zbl 1268.91001号 [28] Frydenberg，M.（1990年）。链图的马尔可夫性质。《斯堪的纳维亚统计杂志》，17（4），333-353·Zbl 0713.60013号 [29] Höjsgaard，S.、Edwards，D.和Lauritzen，S.（2012）。带有R.Springer的图形模型·Zbl 1286.62005年 [30] Javidian，M.A.和Valtorta，M.（2018a）。在祖先图中寻找最小分隔符。第34届人工智能会议第七届因果推理研讨会（UAI-18）。 [31] Javidian，M.A.和Valtorta，M.（2018b）。在LWF链图中寻找最小分隔符。第九届概率图形模型国际会议（PGM 2018），第193-200页。 [32] Javidian，M.A.和Valtorta，M.（2019年）。基于分解的MVR链图结构学习算法。https://arxiv.org/abs/1806.00882。 ·Zbl 1440.68217号 [33] Javidian，M.A.、Valtorta，M.和Jamshidi，P.（2020年）。学习LWF链图：马尔可夫毯发现方法。《第三十六届人工智能不确定性会议论文集》，UAI'20。AUAI出版社。 [34] Javidian，M.A.（2019年）。链图和贝叶斯超图的性质、学习算法和应用。南卡罗来纳大学博士论文。 [35] Javidian，M.A.、Valtorta，M.和Jamshidi，P.（2019年）。多元回归链图的顺序无关结构学习。在可扩展不确定性管理国际会议上，第324-338页。斯普林格·Zbl 1440.68217号 [36] Javidian，M.A.、Valtorta，M.和Jamshidi，P.（2020）。学习LWF链图：一种与顺序无关的算法。arXiv预打印arXiv:2005.14037·Zbl 1440.68217号 [37] Jensen，F.V.和Nielsen，T.D.（2007年）。贝叶斯网络和决策图（第2版）。斯普林格·Zbl 1277.62007年 [38] Kalisch，M.和B¨uhlmann，P.（2007年）。用PC-A算法估计高维有向非循环图。J.马赫。学习。第8号决议，第613-636段·Zbl 1222.68229号 [39] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。麻省理工学院出版社·Zbl 1183.68483号 [40] Lauritzen，S.（1996）。图形模型。牛津科学出版物·Zbl 0907.62001 [41] Lauritzen，S.和Wermuth，N.（1989年）。变量之间关联的图形模型，其中一些是定性的，一些是定量的。《统计年鉴》，17（1），31-57·Zbl 0669.62045号 [42] Lauritzen，S.L.和Spiegelhalter，D.J.（1988）。图形结构的局部概率计算及其在专家系统中的应用。英国皇家统计学会杂志。B系列（方法学），50（2），157-224·Zbl 0684.68106号 [43] Lauritzen，S.L.和Jensen，F.（2001）。条件高斯分布的稳定局部计算。统计与计算，11（2），191-203。 [44] Levitz，M.、Perlman，M.D.和Madigan，D.（2001年）。AMP链图马尔可夫模型的分离性和完备性。《统计年鉴》，第29卷第6期，1751-1784年·Zbl 1043.62080号 [45] Ma，Z.、Xie，X.和耿，Z.（2008）。通过分解进行链图的结构学习。机器学习研究杂志，92847-2880·Zbl 1225.68199号 [46] Motzek，A.和M¨oller，R.（2017年）。重新审视动态贝叶斯网络中的间接原因。J.人工制品。国际研究，59（1），1-58·Zbl 1409.68292号 [47] Nagarajan，R.、Scutari，M.和L'ebre，S.（2013年）。R中的贝叶斯网络：在系统生物学中的应用。斯普林格·兹比尔1272.62005 [48] Neapolitan，R.E.和Jiang，X.（2018年）。《人工智能：机器学习导论》（第二版）。查普曼和霍尔·Zbl 1394.68001号 [49] Netrapali，P.、Banerjee，S.、Sanghavi，S.和Shakkottai，S.（2010年）。马尔可夫网络结构的贪婪学习。2010年第48届Allerton通信、控制和计算年会（Allerton），第1295-1302页。 [50] 佩纳，J.M.（2011）。发现共识贝叶斯网络结构。J.人工制品。国际研究，42（1），661-687·Zbl 1234.68344号 [51] Pearl，J.（1988）。智能系统中的概率推理：合理推理网络。Morgan Kaufmann Publishers Inc.美国加利福尼亚州旧金山·Zbl 0746.68089号 [52] Pearl，J.（1984）。启发式：计算机问题解决的智能搜索策略。Addison-Wesley Longman Publishing Co.，Inc.，美国马萨诸塞州波士顿。 [53] 佩纳，J.M.（2014）。在忠实性下学习多元回归链图：补遗。可在作者的网站上找到。 [54] 佩纳，J.、桑塔格，D.和尼尔森，J.（2014）。链图结构学习的包含优化算法。《人工智能与统计》，第778-786页。 [55] 佩纳，J.M.（2008）。利用错误发现率控制学习基因网络的高斯图形模型。Marchiori，E.和Moore，J.H.（编辑），生物信息学中的进化计算、机器学习和数据挖掘，第165-176页。 [56] 佩纳，J.M.（2012）。忠实学习AMP链图。《概率图形模型第六届欧洲研讨会论文集》，第251-258页。 [57] 佩纳，J.M.（2014）。边际AMP链图。国际近似推理杂志，55（5），1185-1206·Zbl 1433.05304号 [58] 佩纳，J.M.（2015）。每个LWF和AMP链图都源于一组因果模型。在欧洲推理和不确定性的符号和定量方法会议上，第325-334页。斯普林格·Zbl 1465.62114号 [59] Pe~na，J.M.（2016）。非循环有向混合图的交替马尔可夫和因果性质。《第三十二届人工智能不确定性会议论文集》，UAI'16，第577-586页，美国弗吉尼亚州阿灵顿。AUAI出版社。 [60] 佩纳，J.M.（2018a）。AMP链图中强边的识别。Globerson，A.和Silva，R.（编辑），《第三十四届人工智能不确定性会议论文集》，第33-42页。AUAI出版社。 [61] 佩纳，J.M.（2018b）。用交替非循环有向混合图进行推理。行为计量学，45（2），389-422。 [62] 佩纳，J.M.和G´omez-Olmedo，M.（2016）。重新审视了信度下边际AMP链图的学习。国际近似推理杂志，68，108-126·Zbl 1346.68162号 [63] Raghu，V.K.、Ramsey，J.D.、Morris，A.、Manatakis，D.V.、Sprites，P.、Chrysanthis，P.K.、Glymour，C.和Benos，P.V.（2018年）。混合数据中潜在变量模型可扩展因果发现策略的比较。国际数据科学与分析杂志，6（1），33-45。 [64] Ramsey，J.、Spirtes，P.和Zhang，J.（2006）。相邻可信度和保守因果推断。《第二十二届人工智能不确定性会议论文集》，UAI'06，第401-408页，美国弗吉尼亚州阿灵顿。AUAI出版社。 [65] Ravikumar，P.、Wainwright，M.J.和Lafferty，J.D.（2010年）。使用l1正则化logistic回归的高维Ising模型选择。安.统计师。，38(3), 1287-1319. ·Zbl 1189.62115号 [66] Richardson，T.S.和Spirtes，P.（2002）。祖先图马尔可夫模型。《统计年鉴》，30（4），962-1030·Zbl 1033.60008号 [67] Richardson，T.S.（1998）。链图和对称关联。图形模型中的InLearning，第231-259页。施普林格·Zbl 0926.62001号 [68] Roverato，A.和Rocca，L.L.（2006年）。图形建模中变量的块排序。《斯堪的纳维亚统计杂志》，33（1），65-81·兹比尔1124.60021 [69] Roverato，A.（2005）。一种刻画DAG、无标记链图和链图等价类的统一方法。《斯堪的纳维亚统计杂志》，32（2），295-312·Zbl 1090.62066号 [70] 斯库塔里，M.（2017）。贝叶斯网络基于约束的结构学习算法：bnlearn R包中的并行和优化实现。统计软件杂志，文章，77（2），1-20。 [71] Scutari，M.和Denis，J.-B.（2015）。贝叶斯网络及R.Chapman和Hall中的示例·Zbl 1341.62025号 [72] Shen，H.，&Liang，W.（1997）。图中所有最小分隔符的有效枚举。理论计算机科学，180169-180·Zbl 0901.68145号 [73] Sonntag，D.（2016）。链图：解释、表达和学习算法。林克平大学博士论文。 [74] Sonntag，D.和Peána，J.M.（2012年）。在信度下学习多元回归链图。第六届概率图形模型欧洲研讨会（PGM 2012），2012年9月19日至21日，西班牙格拉纳达，第299-306页。 [75] Sonntag，D.和Peána，J.M.（2015a）。重温链图的解释及其关系。国际近似推理杂志，58，39-56。第十二届欧洲不确定性推理的符号和定量方法会议专刊（ECSQARU 2013）·Zbl 1336.62133号 [76] Sonntag，D.和Peána，J.M.（2015b）。链图和基因网络。Hommersom，A.和Lucas，P.J.（编辑），《生物医学知识表示基础：方法和应用》，第159-178页。斯普林格。 [77] Spites，P.、Glymour，C.和Scheines，R.（2000）。因果、预测和搜索，第二版，麻省理工学院出版社，马萨诸塞州剑桥·Zbl 0806.62001 [78] Studen´y，M.、Roverato，A.和St´ep´anov´A，S。(2009). 链图中合并和拆分组件的两种操作。Kybernetika，45（2），208-248·Zbl 1252.62058号 [79] Tian，J.、Paz，A.和Pearl，J.（1998）。找到最小d-分隔符。技术报告，R-254。 [80] Tsamardinos，I.、Brown，L.E.和Aliferis，C.F.（2006）。最大最小爬山贝叶斯网络结构学习算法。机器学习，65（1），31-78·Zbl 1470.68192号 [81] van der Zander，B.和Liskiewicz，M.（2019）。在线性时间和应用中寻找最小d-分隔符。Adams，R.和Gogate，V.（编辑），第35届人工智能不确定性会议论文集。阿拉伯联合酋长国。 [82] van der Zander，B.、Li´skiewicz，M.和Textor，J.（2019年）。因果图中的分隔符和调整集：完整的标准和算法框架。《人工智能》，270，1-40·Zbl 1478.68374号 [83] Xiang，Y.（2002）。多智能体系统中的概率推理：图形模型方法。剑桥大学出版社，美国纽约州纽约市·Zbl 1119.68198号 [84] 谢，X。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。