卡里·兰塔南;安蒂·海蒂宁;马蒂·Järvisalo 发现带有循环和潜在混杂因素的因果图：一种精确的分枝定界方法。 （英文） Zbl 1468.68166号 国际J近似推理 117, 29-49 (2020). 摘要：理解因果关系是许多研究工作的中心挑战。最近的研究表明，考虑反馈（周期）和潜在混淆变量的重要性，因为它们在许多数据分析环境中都有突出的表现。然而，考虑到周期和潜在的混杂因素，结构学习任务尤其具有挑战性。基于约束的方法即使在这样的一般搜索空间中也能够学习因果图，但为了获得高精度，需要优化解决样本数据中冲突的依赖信息。在这项工作中，我们开发了一种新的实用算法方法来解决这个具有计算挑战性的组合优化问题。虽然基于约束的因果发现的精确算法方法的最新进展建立在离线声明式优化求解器的基础上，但我们提出了第一个专门的分支绑定式精确搜索算法。我们的面向问题的方法能够直接结合领域知识，为问题开发更广泛的专业搜索技术，包括特定于问题的传播器和推理规则，以及分支启发式和基于线性规划的边界技术，以及直接合并搜索空间上的不同约束，例如稀疏性和非循环性约束。我们对该方法的实现进行了实证评估，表明它在真实世界实例上基于精确约束的因果发现方面优于当前技术水平。 引用于2文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H22个 概率图形模型 68T20型 人工智能背景下的问题解决（启发式、搜索策略等） 90C57型 多面体组合学，分支与绑定，分支与切割 关键词：图形模型;结构学习;因果发现;分枝定界算法;优化 软件：LMHS公司;TETRAD公司 PDF格式BibTeX公司 XML格式引用 \textit{K.Rantanen}等人，《国际近似推理》117，29-49（2020；Zbl 1468.68166） 全文： 内政部 链接 参考文献： [1] Abellán，J。；Gómez-Olmedo，M。；Moral，S.，《PC算法的一些变化》，（Studen，M.；Vomlel，J.，《概率图形模型第三次欧洲研讨会》，捷克共和国布拉格，第三次概率图形模型欧洲研讨会，2006年9月12-15日，电子会议（2006）），1-8 [2] Bartlett，M。；Cussens，J.，贝叶斯网络结构学习问题的整数线性规划，Artif。智力。，244258-271（2017）·Zbl 1404.68094号 [3] van Beek，P。；Hoffmann，H.，《使用约束编程的贝叶斯网络机器学习》，（Pesant，G.，《约束编程的原理与实践——第21届国际会议》，约束编程的原则与实践，第21届世界会议，CP 2015，爱尔兰科克，2015年8月31日至9月4日，Proceedings（2015），Springer）， 429-445 [4] （Biere，A.；Heule，M.；van Maaren，H.；Walsh，T.，《可满足性手册》，《人工智能与应用前沿》，第185卷（2009），IOS出版社）·Zbl 1183.68568号 [5] Bollen，K.A.，《具有潜在变量的结构方程》（1989），John Wiley&Sons·Zbl 0731.62159号 [6] Borboudakis，G。；Tsamardinos，I.，《面向商业应用的稳健和通用因果发现》（Krishnapuram，B.；Shah，M.；Smola，A.J.；Aggarwal，C.C.；Shen，D。；Rastogi，R.，第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，美国加利福尼亚州旧金山，2016年8月13-17日（2016），ACM），1435-1444 [7] 班廷，W.L.，贝叶斯网络的理论精化，（D’Ambrosio，B。；Smets，P.，UAI’91：第七届人工智能不确定性年会论文集。1991年7月13日至15日（1991年），美国加利福尼亚州洛杉矶加利福尼亚大学第七届人工智能不确定性年会论文集，Morgan Kaufmann） [8] 克拉森，T。；Heskes，T.，《基于约束的因果推理的贝叶斯方法》，（de Freitas，N.；Murphy，K.P.，《第二十八届人工智能不确定性会议论文集》，《第二十届人工智能中不确定性会议文献集》，美国加利福尼亚州卡塔琳娜岛，2012年8月14日至18日（2012年），AUAI出版社），207-216 [9] 克拉森，T。；Mooij，J.M。；Heskes，T.，《学习稀疏因果模型不是NP-hard》（Nicholson，A.；Smyth，P.，《第二十届人工智能不确定性会议论文集》，UAI 2013，美国华盛顿州贝尔维尤，2013年8月11-15日（2013），AUAI出版社），172-181 [10] 科伦坡，D。；Maathuis，M.H.，基于有序依赖约束的因果结构学习，J.Mach。学习。研究，15，3741-3782（2014） [11] 科伦坡，D。；Maathuis，M.H。；Kalisch，M。；Richardson，T.S.，《学习具有潜在和选择变量的高维有向非循环图》，《Ann.Stat.》，第40期，第294-321页（2012年）·Zbl 1246.62131号 [12] Cooper，G.F.，一种简单的基于约束的算法，用于有效挖掘观测数据库中的因果关系，Data Min.Knowl。迪斯科。，203-224年1月（1997年） [13] 库珀，G.F。；Herskovits，E.，从数据中归纳概率网络的贝叶斯方法，马赫。学习。，9, 309-347 (1992) ·Zbl 0766.68109号 [14] 戴维斯，J。；Bacchus，F.，在MAXSAT中利用MIP解算器的力量，（Järvisalo，M.；Gelder，A.V.，《可满足性测试的理论和应用——2013年第16届国际会议》，2013年7月8日至12日，芬兰赫尔辛基，2013年第十六届国际会议， 166-181 ·Zbl 1390.68592号 [15] 德顿，M。；艾希勒，M。；Richardson，T.S.，《计算具有相关误差的递归线性模型中的最大似然估计》，J.Mach。学习。决议，102329-2348（2009）·Zbl 1235.62077号 [16] 埃文斯·R·J。；Richardson，T.S.，非循环有向混合图对二元数据的最大似然拟合，（Grünwald，P。；Spirtes，P.，UAI 2010，第二十六届人工智能不确定性会议论文集。UAI 2010，《第二十六届人工智能不确定性会议论文集》，2010年7月8日至11日，美国加利福尼亚州卡塔琳娜岛（2010），AUAI出版社），177-184 [17] 福雷，P。；Mooij，J.M.，具有周期和潜在变量的图形模型的马尔可夫性质（2017），预印本 [18] 福雷，P。；Mooij，J.M.，《具有周期和潜在混杂因素的非线性结构因果模型的基于约束的因果发现》，（Globerson，A.；Silva，R.，《第三十四届人工智能不确定性会议论文集》，UAI 2018。《第三十四届人工智能不确定性会议论文集》，2018年UAI，美国加利福尼亚州蒙特雷，2018年8月6日至10日（2018），AUAI出版社），269-278 [19] 盖革，D。；Heckerman，D.，有向非循环图形模型的参数先验和几种概率分布的表征，Ann.Stat.，30，1412-1440（2002）·Zbl 1016.62064号 [20] 赫克曼，D。；盖革，D。；Chickering，D.M.，《学习贝叶斯网络：知识和统计数据的结合》，马赫出版社。学习。，20, 197-243 (1995) ·Zbl 0831.68096号 [21] Hyttinen，A.等人。；Eberhardt，F。；Hoyer，P.O.，学习带潜在变量的线性循环因果模型，J.Mach。学习。决议，13，3387-3439（2012）·Zbl 1433.68350号 [22] Hyttinen，A。；Eberhardt，F。；Järvisalo，M.，《基于约束的因果发现：用答案集编程解决冲突》，（Zhang，N.L.；Tian，J.，《第三十届人工智能不确定性会议论文集》，UAI 2014。《第三十届人工智能不确定性会议论文集》，2014年UAI，加拿大魁北克市魁北克，2014年7月23日至27日（2014），AUAI出版社，340-349 [23] Hyttinen，A。；Hoyer，P.O。；Eberhardt，F。；Järvisalo，M.，《发现具有潜在变量的循环因果模型：基于卫星的通用程序》，（Nicholson，a.；Smyth，P.，《第二十届人工智能不确定性会议论文集》，UAI 2013。《第二十届人工智能不确定性会议论文集》，UAI 2013，美国华盛顿州贝尔维尤，2013年8月11-15日（2013），AUAI出版社，301-310 [24] Hyttinen，A。；普利斯，S.M。；Järvisalo，M。；Eberhardt，F。；Danks，D.，从子采样时间序列数据中发现因果关系的约束优化方法，国际期刊近似原因。，90, 208-225 (2017) ·Zbl 1419.68076号 [25] Hyttinen，A。；塞科，P。；Järvisalo，M.，《学习最佳因果图的核心指导方法》，（Sierra，C.，《第二十六届国际人工智能联合会议论文集》，国际人工智能学会2017年。2017年8月19日至25日在澳大利亚墨尔本举行的第二十六届国际人工智能联合会议记录（2017） [26] 贾巴里，F。；Ramsey，J。；Spirtes，P。；Cooper，G.F.，通过独立约束的贝叶斯评分发现包含潜在变量的因果模型，（数据库中的机器学习和知识发现——欧洲会议。数据库中的计算机学习和知识探索——欧洲会议，ECML PKDD 2017，马其顿斯科普里，2017年9月18日至22日，会议记录，第二部分（2017），斯普林格），142-157 [27] Lacerda，G。；Spirtes，P。；拉姆齐，J。；Hoyer，P.O.，《通过独立成分分析发现循环因果模型》，（McAllester，D.A.；Myllymäki，P.，UAI 2008，第24届人工智能不确定性会议论文集。UAI 2008年，第24次人工智能不确定性会议论文集，芬兰赫尔辛基，2008年7月9日至12日（2008），AUAI出版社）， 366-374 [28] 马格里亚坎，S。；克拉森，T。；Mooij，J.M.，《祖先因果推断》（Lee，D.D.；Sugiyama，M.；von Luxburg，U.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》29：2016年神经信息处理系统年会。神经信息处理系统进展29：2016年12月5日至10日（2016年）神经信息处理年度会议，Curran Associates，Inc.：Curran associatess，Inc.，西班牙巴塞罗那），4466-4474 [29] 马龙，B。；Järvisalo，医学博士。；Myllymäki，P.，《学习策略对贝叶斯网络质量的影响：实证评估》，（Meila，M.；Heskes，T.，《第三十一届人工智能不确定性会议论文集》，《第三十届人工智能中不确定性会议文献集》，UAI 2015，2015年7月12-16日（2015），荷兰阿姆斯特丹AUAI出版社），562-571 [30] 马龙，B.M。；Yuan，C.，学习最优贝叶斯网络的深度第一分支定界算法，（Croitoru，M.；Rudolph，S.；Woltran，S.），Gonzales，C.，《知识表示和推理的图形结构——第三次国际研讨会》，GKR 2013。知识表示和推理的图形结构——第三届国际研讨会，GKR 2013，中国北京，2013年8月3日（2014年），Springer，111-122，修订论文集 [31] Margaritis，D。；Bromberg，F.，《使用粒子过滤器的高效马尔可夫网络发现》，计算。智力。，25, 367-394 (2009) [32] Moreno-Centeno，E。；Karp，R.M.，解决组合优化问题的隐式命中集方法及其在多基因组比对中的应用，Oper。决议，61，453-468（2013）·Zbl 1267.90125号 [33] Natori，K。；乌托，M。；Ueno，M.，具有数千个变量的一致学习贝叶斯网络，（Hyttinen，A.；Suzuki，J.；Malone，B.M.，贝叶斯网络高级方法第三次研讨会论文集。贝叶斯网络高级方法第三次研讨会论文集，AMBN 2017，日本京都，2017年9月20-22日（2017），PMLR），57-68 [34] Neal，R.，《关于从反馈因果图的d-分离推导条件独立性》，J.Artif。智力。决议，12，87-91（2000）·Zbl 0943.68123号 [35] Ogarrio，J.M。；Spirtes，P。；Ramsey，J.，《潜在变量模型的混合因果搜索算法》，（Antonucci，A.；Corani，G.；de Campos，C.P.，《概率图形模型——第八届国际会议》，PGM 2016。概率图形模型——第八届国际会议，2016年9月6日至9日，瑞士卢加诺，PGM 2016，会议记录（2016），368-379 [36] Pearl，J.，《因果关系：模型、推理和推断》（2000），剑桥大学出版社·Zbl 0959.68116号 [37] Pearl，J。；Dechter，R.，《用反馈识别因果图中的独立性》（Horvitz，E.；Jensen，F。V.，UAI’96：第十二届人工智能不确定性年会论文集。UAI’96：第十二届人工智能不确定性年会论文集，美国俄勒冈州波特兰里德学院，1996年8月1日至4日（1996年），Morgan Kaufmann），420-426 [38] Ramsey，J。；张杰。；Spirtes，P.，《相邻可信度和保守因果推断》（2012），CoRR [39] Rantanen，K。；Hyttinen，A.等人。；Järvisalo，M.，《通过分支和界限学习弦马尔可夫网络》，（Luxburg，U.；Bengio，S.；Wallach，H.M.；Fergus，R.；Vishwanathan，S.V.N.；Garnett，R.，《神经信息处理系统进展30：2017年神经信息处理系统年会》。神经信息处理系统进展30：2017年神经信息处理体系年会，2017年12月4日至9日，美国加利福尼亚州长滩（2017年），1845-1855 [40] Rantanen，K。；Hyttinen，A。；Järvisalo，M.，《通过精确搜索学习最优因果图》，（Studení，M.；Kratochvíl，V.，概率图形模型国际会议，PGM 2018。概率图形模型国际会议，2018年PGM，捷克共和国布拉格，2018年9月11-14日（2018年），PMLR，344-355 [41] Richardson，T.，有向循环图的发现算法，（Horvitz，E.；Jensen，F。V.，UAI'96：第十二届人工智能不确定性年会论文集。UAI’96：第十二届人工智能不确定性年会论文集，美国俄勒冈州波特兰里德学院，1996年8月1日至4日（1996年），Morgan Kaufmann），454-461 [42] Richardson，T.S.，《反馈模型：解释与发现》（1996），卡内基梅隆大学博士论文 [43] 塞科，P。；伯格，J。；Järvisalo，M.，LMHS:SAT-IP混合MaxSAT解算器，（Creignou，N.；Berre，D.L.，《可满足性测试的理论与应用——2016年SAT第19届国际会议》，2016年7月5日至8日，法国波尔多，第19届国际会议，《Proceedings（2016）》，施普林格），539-546·Zbl 1475.68449号 [44] 塞科，P。；Wallner，J.P。；Järvisalo，M.，用于NP以外推理的隐式命中集算法，（Baral，C.；Delgrand，J.P。；Wolter，F.，《知识表示和推理原则：第十五届国际会议论文集》。《知识表示和推理原理：第十五届国际会议论文集》，KR 2016，南非开普敦，2016年4月25日至29日（2016），AAAI出版社），104-113 [45] Shachter，R.D.，Bayes-Ball:理性消遣（用于确定信念网络和影响图中的无关性和必要信息），（Cooper，G.F。；Moral，S.，UAI’98：第十四届人工智能不确定性会议论文集。1998年7月24日至26日（1998年），美国威斯康星州麦迪逊市威斯康星大学商学院第十四届人工智能不确定性会议论文集，摩根考夫曼），480-487 [46] Spirtes，P.，反馈模型的有向循环图形表示，（Besnard，P。；Hanks，S.，UAI'95：第十一届人工智能不确定性年会论文集。1995年8月18日至20日（1995年），加拿大魁北克省蒙特利尔，第十一届人工智能不确定性年会论文集，Morgan Kaufmann），491-498 [47] Spirtes，P。；Glymour，C。；Scheines，R.，因果、预测和搜索（2000），麻省理工出版社·Zbl 0806.62001 [48] Steck，H。；Jaakkola，T.S.，《关于Dirichlet先验和贝叶斯正则化》（Becker，S.；Thrun，S.）；Obermayer，K.，《神经信息处理系统的进展》15。神经信息处理系统的进展15，神经信息处理体系，NIPS 2002，加拿大不列颠哥伦比亚省温哥华，2002年12月9日至14日（2002），麻省理工学院出版社，697-704 [49] 从链图的角度研究贝叶斯网络（Cooper，G.F。；Moral，S.，UAI’98：第十四届人工智能不确定性会议论文集。1998年7月24日至26日（1998年），美国威斯康星州麦迪逊市威斯康星大学商学院第十四届人工智能不确定性会议论文集，Morgan Kaufmann），496-503 [50] 铃木，J.，《基于最小描述长度原则的贝叶斯信念网络学习：使用B&B技术的高效算法》（Saitta，L.，机器学习，第十三届国际会议论文集（ICML’96）。机器学习，《第十三届国际会议论文集》（ICML’96），意大利巴里，1996年7月3日至6日（1996），Morgan Kaufmann），462-470 [51] 铃木，J。；Kawahara，J.，Branch and bound for regular Bayesian network structure learning，（Elidan，G.；Kersting，K.；Ihler，A.T.，《第三十三届人工智能不确定性会议论文集》，2017年8月11-15日，UAI 2017，澳大利亚悉尼，AUAI出版社） [52] Tian，J.，MDL学习贝叶斯网络的分枝定界算法，（Boutiler，C。；Goldszmidt，M.，UAI'00：第16届人工智能不确定性会议论文集。UAI'00:《第16届人工智能不确定性会议论文集》，斯坦福大学，斯坦福，加利福尼亚州，美国，2000年6月30日-7月3日（2000年），Morgan Kaufmann），580-588 [53] 蒂尔曼，R.E。；丹克斯，D。；Glymour，C.，《将本地习得的因果结构与重叠变量相结合》（Koller，D.；Schurmans，D.；Bengio，Y。；Bottou，L.，《神经信息处理系统进展》21，第二十二届神经信息处理体系年会论文集。神经信息处理系统的进展21，《第二十二届神经信息处理体系年会论文集》，加拿大不列颠哥伦比亚省温哥华，2008年12月8日至11日（2008年），Curran Associates，Inc.，1665-1672 [54] 蒂尔曼，R.E。；Spirtes，P.，从具有重叠变量的多个数据集中学习具有潜在变量和选择变量的非循环模型的等价类，（Gordon，G.J.；Dunson，D.B.；Dudík，M.，《第十四届国际人工智能与统计会议论文集》，AISTATS 2011。第十四届国际人工智能与统计会议记录，AISTATS 2011，美国劳德代尔堡，2011年4月11日至13日（2011年）），3-15 [55] Triantafillou，S。；Tsamardinos，I。；Tollis，I.G.，从重叠变量集学习因果结构，（AISTATS（2010），JMLR），860-867 [56] Triantafilou，S。；Tsamardinos，I。；Tollis，I.G.，《从重叠变量集中学习因果结构》，（Teh，Y.W.；Titterington，D.M.，《第十三届国际人工智能与统计会议论文集》，AISTATS 2010。第十三届国际人工智能与统计会议记录，AISTATS 2010，Chia Laguna Resort，Sardinia，Italy，2010年5月13日至15日（2010）），860-867 [57] Tsirlis，K。；拉加尼，V。；Triantafillou，S。；Tsamardinos，I.，《关于使用max-min爬山算法对最大祖先图进行评分》，《国际期刊近似原因》。，102, 74-85 (2018) ·Zbl 1448.68378号 [58] Verma，T。；Pearl，J.，因果模型的等效性和综合，（Bonissone，P.P.；Henrion，M.；Kanal，L.N.；Lemmer，J。F.，UAI’90：第六届人工智能不确定性年会论文集。UAI'90：第六届人工智能不确定性年会论文集，麻省理工学院，美国马萨诸塞州剑桥，1990年7月27-29日（1990年），爱思唯尔，255-270 [59] Wright，S.，《路径系数法》，《数学年鉴》。《统计》，第5卷，第161-215页（1934年） [60] 袁，C。；马龙，B.，《学习最佳贝叶斯网络：最短路径视角》，J.Artif。智力。研究，48，23-65（2013）·Zbl 1361.68182号 [61] Zhalama Zhang，J。；Eberhardt，F。；Mayer，W.，《较弱假设下基于SAT的因果发现》，（Elidan，G.；Kersting，K.；Ihler，A.T.，《第三十三届人工智能不确定性会议论文集》，2017年8月11日至15日，澳大利亚悉尼，UAI出版社，2017年） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。