×

Sum-product图形模型。 (英语) Zbl 1446.62164号

摘要:本文介绍了一种称为汇总产品图形模型(SPGM)的概率体系结构。SPGM代表一类概率分布,首次将概率图形模型(GM)的语义与总和网络(SPN)的评估效率结合起来:与SPN一样,SPGM总是使用一类包含上下文独立性的模型来实现可处理的推理。与GM一样,SPGM根据条件独立性假设和相应的因子分解提供了高级模型解释。因此,这种方法在SPN和GM字段之间提供了新的连接,并能够对SPN编码的分布族进行高级解释。我们提供了两种SPGM在密度估计中的应用,其经验结果接近或超过最先进的模型。理论和实践结果表明,联合利用SPN和GM的特性是未来研究的一个有趣方向。

MSC公司:

62H22个 概率图形模型
62G07年 密度估算

软件:

达奇
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Amer,M。;Todorovic,S.,活动识别的Sum产品网络,IEEE模式分析和机器智能交易,38,800-813(2015)·doi:10.1109/TPAMI.2015.2465955
[2] Bacchus,F.、Dalmao,S.和Pitassi,T.(2012年)。值消除:通过回溯搜索进行贝叶斯推断。CoRR,arXiv:1212.2452·Zbl 1182.68294号
[3] 巴赫,F.R.和乔丹,M.I.(2001)。薄连接树。神经信息处理系统进展,第14卷。麻省理工学院出版社,第569-576页。
[4] Boutiler,C.、Friedman,N.、Goldszmidt,M.和Koller,D.(1996)。贝叶斯网络中上下文特定的独立性。第115-123页。
[5] Cheng,W.C.,Kok,S.,Pham,H.V.,Chieu,H.L.,&Chai,K.M.(2014)。使用sum-product网络进行语言建模。国际语音通信协会年会15(INTERSPEECH 2014)。
[6] Chickering,D.M.、Heckerman,D.和Meek,C.(2013年)。一种贝叶斯方法,用于学习具有局部结构的贝叶斯网络。CoRR,arXiv:1302.1528·兹比尔1222.68169
[7] 乔伊,MJ;Tan,VYF;Anandkumar,A。;Willsky,AS,学习潜在树图形模型,机器学习研究杂志,121771-1812(2011)·Zbl 1280.68160号
[8] 周,CI;Liu,CN,用依赖树逼近离散概率分布,IEEE信息理论汇刊,1462-467(1968)·Zbl 0165.22305号 ·doi:10.1109/TIT.1968.1054142
[9] Conaty,D.、Mauá,D.和de Campos,C.P.(2017)。和积网络中最大后验推理的近似复杂性。Elidan,G.和Kersting,K.(编辑),第三十三届人工智能不确定性会议论文集。AUAI出版社,第322-331页。
[10] 科威尔,R。;Dawid,A。;Lauritzen,S。;Spiegelholter,D.,概率网络和专家系统(2003),柏林:施普林格,柏林
[11] Darwiche,A。;芬塞尔,D。;Giunchiglia,F。;麦吉尼斯,DL;威廉姆斯,M-A,《分解信念网络的逻辑方法》,KR,409-420(2002),伯灵顿:摩根·考夫曼,伯灵敦
[12] Darwiche,A.,贝叶斯网络中推理的微分方法,ACM杂志,50,3,280-305(2003)·Zbl 1325.68226号 ·doi:10.1145/765568.765570
[13] Dechter,R。;Mateescu,R.,图形模型的AND/OR搜索空间,人工智能,171,2-3,73-106(2007)·Zbl 1168.68549号 ·doi:10.1016/j.artint.2006.11.003
[14] 阿联酋登普斯特;新墨西哥州莱尔德;DB鲁宾,《通过EM算法从不完整数据中获取最大似然》,《皇家统计学会杂志》。B系列(方法学),39,1,1-38(1977)·Zbl 0364.62022号 ·doi:10.1111/j.2517-6161.1977.tb01600.x
[15] Desana,M.&Schnörr,C.(2016)。作为指数族混合模型的sum-product网络的期望最大化。CoRR,arXiv:1604.07243·Zbl 1446.62164号
[16] Diestel,R.,图论(2006),柏林:施普林格出版社,柏林·Zbl 1086.05001号
[17] 弗里德曼,A.,混合马尔可夫模型,PNAS,1008092-8096(2003)·Zbl 1069.60088号 ·doi:10.1073/pnas.0731829100
[18] Gens,R.和Domingos,P.(2012年)。sum-product网络的判别学习。在NIPS中,第3248-3256页。
[19] Gens,R。;Domingos,P.,《学习sum-product网络的结构》,ICML,3873-880(2013)
[20] 戈盖特,V。;韦伯,W。;多明戈斯,P。;拉弗蒂,J。;威廉姆斯,C。;肖-泰勒,J。;泽梅尔,R。;Culotta,A.,《学习高效马尔可夫网络》,《神经信息处理系统的进展》,748-756(2010),Red Hook:Curran Associates Inc,Red Hook
[21] 通用电气公司Hinton;Osindero,S.,深度信念网络的快速学习算法,神经计算,2006年第18期(2006年)·Zbl 1106.68094号 ·doi:10.1162/neco.2006.18.7.1527
[22] Jordan,MI,专家和EM算法的层次混合,神经计算,6181-214(1994)·doi:10.1162/neco.1996.2.181
[23] Kolmogorov,V.,能量最小化的收敛树重加权消息传递,IEEE模式分析和机器智能汇刊,28,10,1568-1583(2006)·doi:10.1109/TPAMI.2006.200
[24] 科尔莫戈罗夫,V。;Zabih,R.,什么能量函数可以通过图形切割最小化?,IEEE模式分析和机器智能汇刊,26,2,147-159(2004)·doi:10.1109/TPAMI.2004.1262177
[25] Lowd,D.和Domingos,P.(2012年)。学习算术电路。CoRR,arXiv:1206.3271。
[26] Mcallester,D.、Collins,M.和Pereira,F.(2004)。结构化概率建模的案例因素图。《第二十届人工智能不确定性会议论文集》(UAI 04),第382-391页·Zbl 1161.68784号
[27] Mei,J.、Jiang,Y.和Tu,K.(2018)。和积网络中的最大后验推理。
[28] 梅拉,M。;乔丹,密歇根州,《混合树学习》,《机器学习研究杂志》,1,1-48(2000)·Zbl 1052.68116号
[29] Minka,T.和Winn,J.(2009年)。盖茨。神经信息处理系统进展21。
[30] Neal,R.和Hinton,G.E.(1998年)。EM算法视图,用于证明增量、稀疏和其他变量的合理性。在图形模型学习中。Kluwer学术出版社,第355-368页·Zbl 0916.62019号
[31] Peharz,R.(2015)。概率建模和生产网络基础(博士论文)。研究门户:273000973。
[32] Peharz,R.,Gens,R.、Pernkopf,F.和Domingos,P.M.(2016年)。关于sum-product网络中的潜在变量解释。CoRR,arXiv:1601.06180。
[33] Pletscher,P.、Ong,C.S.和Buhmann,J.M.(2009年)。条件随机域的生成树近似。在Dyk,D.A.V.和Welling,M.(编辑),AISTATS,JMLR会议记录第5卷,第408-415页。JMLR.org。
[34] Poole,D.L.和Zhang,N.L.(2011年)。在概率推理中利用上下文独立性。CoRR,arXiv:1106.4864·Zbl 1056.68144号
[35] Poon,H.和Domingos,P.(2011年)。Sum-product网络:一种新的深层架构。2011年7月14日至17日,西班牙巴塞罗那,第二十七届人工智能不确定性会议论文集,UAI 2011,第337-346页。
[36] Rahman,T.m&Gogate,V.(2016a)。学习割集网络的集合。2016年2月12日至17日,美国亚利桑那州凤凰城举行的第三十届AAAI人工智能会议记录,第3301-3307页。
[37] Rahman,T.和Gogate,V.(2016b)。和积网络的合并策略:从树到图。在第三十二届人工智能不确定性会议记录中,2016年6月25日至29日,UAI,美国纽约市。
[38] Rahman,T.、Kothalkar,P.和Gogate,V.(2014年)。割集网络:用于提高Chow-Liu树准确性的简单、易处理和可扩展方法。《数据库中的机器学习和知识发现——欧洲会议》,ECML PKDD 2014,法国南希,2014年9月15日至19日。会议记录,第二部分,第630-645页。
[39] Rooshenas,A.和Lowd,D.(2014)。学习具有直接和间接变量交互作用的sum-product网络。Jebara,T.,&Xing,E.P.(编辑),第31届机器学习国际会议论文集(ICML-14)。JMLR研讨会和会议记录,第710-718页。
[40] Vergari,A.、Mauro,N.D.和Esposito,F.(2015)。简化、规范和加强汇总网络结构学习。2015年欧洲数据库机器学习和知识发现会议论文集——第二卷,ECMLPKDD’15,瑞士。施普林格,第343-358页。
[41] 温赖特,MJ;Jordan,MI,图形模型、指数族和变分推理,机器学习的基础和趋势,1,1-2,1-305(2008)·Zbl 1193.62107号 ·数字对象标识代码:10.1561/220000001
[42] Zhao,H.、Melibari,M.和Poupart,P.(2015)。关于和积网络和贝叶斯网络之间的关系。CoRR,arXiv:1501.01239。
[43] Zhao,H.、Poupart,P.和Gordon,G.(2016)。学习和积网络参数的统一方法。《神经信息处理系统第29届进展会议录》(NIPS 2016)。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。