×
穆罕默德·哈姆扎·易卜拉欣；克里斯托弗·帕尔；吉尔斯·佩森特

用确定性和循环改进图形模型中的概率推理。 （英语） Zbl 1412.68184号

机器。学习。 106，第1期，1-54页（2017年）.
摘要：机器学习、统计物理、约束编程和信息理论的许多重要的现实应用都可以使用涉及决定论和循环的图形模型来描述。这种图形模型的精确和高效的推理和训练仍然是一个关键的挑战。马尔可夫逻辑网络（MLN）最近已成为一种流行的框架，用于表达具有这些特性的许多问题。而在某些情况下，错误信念传播（LBP）可能是一种有效的解决方案；不幸的是，当同时存在决定论和循环时，LBP常常无法收敛或收敛到不准确的结果。因此，基于抽样的算法被发现更有效，并且在MLN的一般推理任务中更受欢迎。在本文中，我们介绍了广义弧一致性期望最大化消息传递（GEM-MP），这是一种在结合约束编程的扩展因子图中进行推理的新消息传递方法变分方法技术。我们将实验重点放在马尔可夫逻辑和伊辛模型上，但该方法通常适用于图形模型。与LBP相反，GEM-MP将消息传递结构公式化为变分期望最大化的步骤。此外，在该算法中，当执行变分平均场近似时，我们通过使用广义弧一致性来利用因子图中的局部结构。因此，每次更新都会增加模型证据的下限。我们在伊辛网格、实体分辨率和链接预测问题上的实验证明了GEM-MP相对于现有最先进的推理算法（如MC-SAT、LBP和Gibbs采样）以及收敛的消息传递算法（如凹-凸过程、残差BP和L2-凸方法）的准确性和收敛性。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68T20型 人工智能背景下的问题解决（启发式、搜索策略等）
68T27型 人工智能中的逻辑

关键词：

马尔可夫逻辑；消息传递；约束传播；统计关系学习；期望最大化

软件：

炼金术
PDF格式BibTeX公司 XML格式引用
\textit{M.-H.易卜拉欣}等人，马赫。学习。106，第1号，1-54（2017；Zbl 1412.68184）
全文： DOI程序

参考文献：

[1] Ahmadi，B.、Kersting，K.、Mladenov，M.和Natarajan，S.（2013年）。利用对称性进行循环信念传播和关系训练。机器学习，92（1），91-132·兹比尔1273.68293 ·doi:10.1007/s10994-013-5385-0
[2] 巴赫，F.R.和约旦，M.I.（2001）。薄连接树。《第14届神经信息处理系统会议论文集：神经信息处理的进展》14（NIPS-2001）（第569-576页）。麻省理工学院出版社。
[3] Beal，M.J.和Ghahramani，Z.（2003年）。不完全数据的变分贝叶斯em算法：用于对图形模型结构进行评分。贝叶斯统计，7453-464。
[4] Bui，H.B.、Huynh，T.N.和de Salvo Braz，R.（2012）。对每一个物体都有明确的软证据进行精确的推论。7月22日至26日，加拿大安大略省多伦多市，第二十六届AAAI人工智能会议记录（第1875-1881页）。AAAI出版社。
[5] Dauwels，J.、Korl，S.和Loeliger，H.-A.（2005）。期望最大化作为消息传递。《IEEE信息理论国际研讨会论文集》（ISIT 2005），澳大利亚阿德莱德会议中心（第583-586页）。IEEE计算机协会·Zbl 1334.94019号
[6] Davis，J.和Domingos，P.（2009年）。通过二阶马尔可夫逻辑进行深度传输。在第26届机器学习国际年会论文集（ICML-09）上。魁北克蒙特利尔：ACM。
[7] De Salvo Braz，R.、Amir，E.和Roth，D.（2005）。提升了一阶概率推断。第19届国际人工智能联合会议论文集，苏格兰爱丁堡（1319-1325页）。AAAI出版社。
[8] De Salvo Braz，R.、Natarajan，S.、Bui，H.、Shavlik，J.和Russell，S.（2009年）。随时解除信仰传播。第六届统计关系学习国际研讨会论文集，比利时鲁汶（第9卷，第1-3页）。
[9] Dechter，R.和Mateescu，R.（2003年）。对迭代信念传播成功的简单见解。《第十九届人工智能不确定性会议论文集》（第175-183页）。墨西哥阿卡普尔科：Morgan Kaufmann Publishers Inc。
[10] Elidan，G.、McGraw，I.和Koller，D.（2006年）。剩余信任传播：异步消息传递的信息调度。第二十二届人工智能不确定性年会论文集（UAI-06）（第165-173页）。弗吉尼亚州阿灵顿：AUAI出版社。
[11] Flach，P.A.（2010年）。一阶逻辑。机器学习百科全书（第410-415页）。纽约：斯普林格。
[12] Frey，B.J.和MacKay，D.J.（1998年）。一场革命：有圈图中的信念传播。《第11届神经信息处理系统会议论文集：神经信息处理体系的进展》11（NIPS-1998）（第479-485页）。摩根·考夫曼。
[13] Getoor，L.和Taskar，B.（2007年）。统计关系学习入门（自适应计算和机器学习）。剑桥：麻省理工学院出版社·兹比尔1141.68054
[14] Globerson，A.和Jaakkola，T.（2007年）。通过定向树的收敛传播算法。《第二十三届人工智能不确定性会议论文集》，加拿大不列颠哥伦比亚省温哥华，7月19-22日（第133-140页）。AUAI出版社。
[15] Gogate，V.和Domingos，P.（2011年）。概率定理证明。第二十七届人工智能不确定性年会论文集（UAI-11）（第256-265页）。科瓦利斯，俄勒冈州：奥艾出版社。
[16] Gogate，V.、Jha，A.K.和Venugopal，D.（2012年）。提升重要性抽样的进展。2012年7月22日至26日，第二十六届AAAI人工智能会议论文集（第1910-1916页）。安大略省多伦多：AAAI出版社。
[17] Hazan，T.和Shashua，A.（2008年）。一般凸自由能图推理的收敛消息传递算法。《第24届人工智能不确定性会议论文集》，芬兰赫尔辛基，7月9日至12日（第264-273页）。
[18] Hazan，T.和Shashua，A.（2010年）。规范生产信念传播：用于近似推理的原始-对偶消息传递。IEEE信息理论汇刊，56（12），6294-6316·Zbl 1366.94105号 ·doi:10.1109/TIT.2010.2079014
[19] Heskes，T.（2002）。循环信念传播的稳定不动点是bethe自由能的局部极小值。加拿大不列颠哥伦比亚省温哥华第15届神经信息处理系统会议论文集，12月9日至14日：神经信息处理体系的进展15（NIPS-2002）（第343-350页）。Curran Associates公司。
[20] Heskes，T.（2004）。关于循环信念传播不动点的唯一性。神经计算，16（11），2379-2413·兹比尔1089.68593 ·doi:10.1162/0899766041943
[21] Horsch，M.C.和Havens，W.S.（2000）。概率弧一致性：约束推理和概率推理之间的联系。第十六届人工智能不确定性会议记录（第282-290页）。美国加利福尼亚州旧金山：Morgan Kaufmann Publishers Inc。
[22] Hsu，E.I.、Kitching，M.、Bacchus，F.和McIlraith，S.A.（2007年）。使用期望最大化找到解决csp的可能分配。第22届全国人工智能会议论文集（AAAI'07）（第22卷，第224-232页）。加拿大温哥华：AAAI出版社。
[23] Hsu，E.I.、Muise，C.、Beck，J.C.和McIlraith，S.A.（2008年）。概率估计主干和可变偏差。第14届约束规划原理与实践国际会议论文集（CP’08）（第613-617页）。澳大利亚悉尼：斯普林格。
[24] Huynh，T.N.和Mooney，R.J.（2009年）。马尔可夫逻辑网络的最大裕度权重学习。摘自：《欧洲机器学习与数据库知识发现原理与实践会议论文集》，第1部分，布勒德，斯洛文尼亚，9月7日至11日，斯普林格。第5781卷，第564-579页。
[25] Huynh，T.N.和Mooney，R.J.（2011）。马尔可夫逻辑网络的在线最大边缘权重学习。《SIAM-11国际数据挖掘会议记录》（第642-651页）。亚利桑那州梅萨：SIAM/Omnipress。
[26] Ibrahim，M.-H.、Pal，C.和Pesant，G.（2015）。利用确定性来衡量关系推理。2015年1月25日至30日，第二十九届全国人工智能会议（AAAI’15）论文集（第1756-1762页）。德克萨斯州奥斯汀：AAAI出版社。
[27] Kersting，K.（2012年）。提升了概率推理。《第20届欧洲人工智能会议论文集》（ECAI-2012），8月27日至31日（第33-38页）。蒙彼利埃法国：IOS出版社：ECCAI。
[28] Kersting，K.、Ahmadi，B.和Natarajan，S.（2009年）。计算信仰传播。《第二十五届人工智能不确定性会议论文集》，魁北克省蒙特利尔，6月18-21日（第277-284页）。AUAI出版社。
[29] Kiddon，C.和Domingos，P.（2011年）。一阶概率模型的粗-精推理和学习。《第二十五届美国人工智能学会人工智能会议论文集》，美国加利福尼亚州旧金山，8月7日至11日（第1049-1056页）。AAAI出版社。
[30] Kok，S.、Singla，P.、Richardson，M.、Domingos，P.和Sumner，M.，Poon，H.和Lowd，D.（2007年）。统计关系人工智能的炼金术系统。技术报告，华盛顿大学计算机科学与工程系，西雅图，华盛顿州。http://alchemy.cs.washington.edu。
[31] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。剑桥：麻省理工学院出版社·Zbl 1183.68483号
[32] Kschichang，F.，成员，S.，Frey，B.J.，&Loeliger，H.-A.（2001）。因子图和求和算法。IEEE信息理论汇刊，47498-519·Zbl 0998.68234号 ·数字对象标识代码：10.1109/18.910572
[33] Lauritzen，S.L.和Spiegelhalter，D.J.（1988）。图形结构上概率的局部计算及其在专家系统中的应用。英国皇家统计学会期刊B辑（方法学），50157-224·Zbl 0684.68106号
[34] Le Bras，R.、Zanarini，A.和Pesant，G.（2009年）。embp框架内的高效泛型搜索启发式。第15届约束编程原理与实践国际会议（CP’09）论文集，葡萄牙里斯本（第539-553页）。柏林：斯普林格。
[35] Lowd，D.和Domingos，P.（2007年）。马尔可夫逻辑网络的有效权值学习。9月17日至21日，波兰华沙，第11届欧洲数据库知识发现原则与实践会议论文集（PKDD 2007）（第200-211页）。斯普林格。
[36] Mateescu，R.、Kask，K.、Gogate，V.和Dechter，R.（2010年）。联合粒度传播算法。《人工智能研究杂志》，37279-328·Zbl 1192.68649号
[37] Mcelice，R.J.、Mackay，D.J.C.和Cheng，J.F.（1998年）。Turbo译码作为pearl信念传播算法的一个实例。IEEE通讯选定领域杂志，16，140-152·数字对象标识代码：10.1109/49.661103
[38] Meltzer，T.、Globerson，A.和Weiss，Y.（2009年）。收敛的消息传递算法——统一的观点。《第二十五届人工智能不确定性会议论文集》，加拿大魁北克省蒙特利尔，6月18日至21日（第393-401页）。AUAI出版社。
[39] Milch，B.、Zettlemoyer，L.S.、Kersting，K.、Haimes，M.和Kaelbling，L.P.（2008）。使用计数公式提升概率推断。《第二十三届人工智能会议论文集》（第8卷，第1062-1068页）。伊利诺伊州芝加哥：AAAI出版社。
[40] Mooij，J.M.和Kappen，H.J.（2005）。循环信念传播收敛的充分条件。7月26日至29日，苏格兰爱丁堡，第21届人工智能不确定性年会论文集（UAI-05）（第396-403页）。AUAI出版社。
[41] Murphy，K.、Weiss，Y.和Jordan，M.（1999）。近似推理的松散信任传播：一项实证研究。第十五届人工智能不确定性年会会议记录（UAI-99），瑞典斯德哥尔摩（第467-476页）。摩根·考夫曼。
[42] Neal，R.M.和Hinton，G.E.（1999）。图形模型中的学习，麻省理工学院出版社，第章。EM算法的观点，证明了增量、稀疏和其他变体的合理性（第355-368页）·Zbl 0916.62019号
[43] Nguyen，X.、Wainwright，M.J.和Jordan，M.I.（2004）。使用核方法的分散检测和分类。《第二十一届机器学习国际会议论文集》（ICML）（第69卷，第80-88页）。加拿大班夫：ACM。
[44] Papai，T.、Kautz，H.A.和Stefankovic，D.（2012）。切片规范化动态马尔可夫逻辑网络。《第26届神经信息处理系统会议论文集》，12月3日至8日，Harrahs and Harveys，Lake Tahoe:Advances In neural information processing systems（第25卷，第1916-1924页）。Curran Associates公司。。
[45] Papai，T.、Singla，P.和Kautz，H.（2011年）。马尔可夫逻辑中有效推理的约束传播。第17届约束规划原理与实践国际会议论文集（CP 2011），意大利佩鲁贾，9月12-16日（第691-705页）。斯普林格。
[46] Pearl，J.（1988）。智能系统中的概率推理：似是而非推理网络。圣马特奥：摩根·考夫曼·Zbl 0746.68089号
[47] Poole，D.（2003）。一阶概率推理。第18届国际人工智能联合会议论文集IJCAI'03（第3卷，第985-991页）。墨西哥阿卡普尔科：Morgan Kaufmann Publishers Inc。
[48] Poon，H.和Domingos，P.（2006年）。可靠且有效的推理，具有概率和确定性依赖性。《第21届全国人工智能会议论文集》，7月16日至20日（第1卷，第458-463页）。马萨诸塞州波士顿：AAAI出版社。
[49] Poon，H.、Domingos，P.和Sumner，M.（2008）。一种降低关系推理复杂性的通用方法及其在mcmc中的应用。7月13日至17日，伊利诺伊州芝加哥，第二十三届AAAI人工智能会议记录（第1075-1080页）。AAAI出版社。
[50] Potetz，B.（2007年）。基于线性约束节点的视觉有效信念传播。IEEE计算机视觉和模式识别会议（CVPR'07）（第1-8页）。明尼阿波利斯，明尼苏达州。IEEE计算机学会。
[51] Richardson，M.和Domingos，P.（2006年）。马尔可夫逻辑网络。机器学习，62（1-2），107-136·Zbl 1470.68221号 ·doi:10.1007/s10994-006-5833-1
[52] Roosta，T.、Wainwright，M.J.和Sastry，S.S.（2008）。加权和积算法的收敛性分析。IEEE信号处理汇刊，56（9），4293-4305·Zbl 1390.94384号 ·doi:10.1109/TSP.2008.924136
[53] Rossi，F.、Van Beek，P.和Walsh，T.（2006）。约束编程手册。纽约：爱思唯尔出版社·Zbl 1175.90011号
[54] Sen，P.、Deshpande，A.和Getoor，L.（2009年）。基于双模拟的近似提升推理。6月18日至21日，加拿大蒙特利尔，第二十五届人工智能不确定性会议论文集。
[55] Shavlik，J.和Natarajan，S.（2009年）。通过预处理加快马尔科夫逻辑网络中的推理，以减小结果接地网络的大小。《21国际人工智能联合会议论文集》（第1951-1956页）。加利福尼亚州帕萨迪纳：IJCAI组织。
[56] Shi，X.、Schonfeld，D.和Tuninetti，D.（2010年）。错误信念传播的消息错误分析。《IEEE声学、语音和信号处理国际会议论文集》（ICASSP 2010），3月14-19日（第2078-2081页）。德克萨斯州达拉斯：IEEE计算机协会。
[57] Singla，P.（2012年）。马尔可夫逻辑网络：理论、算法和应用。第18届国际数据管理会议论文集，印度计算机学会（第15-150页）。
[58] Singla，P.和Domingos，P.（2006年）。使用马尔可夫逻辑进行实体解析。第六届数据挖掘国际会议论文集，2006年国际数据挖掘学会，中国香港，1822年12月（第572-582页）。IEEE计算机协会。
[59] Singla，P.和Domingos，P.（2008）。提升了一级信念传播。7月13日至17日，伊利诺伊州芝加哥，第二十三届AAAI人工智能会议记录（第1094-1099页）。AAAI出版社。
[60] Singla，P.、Nath，A.和Domingos，P.（2010年）。近似提升信念传播。2010年7月11日至15日，美国佐治亚州亚特兰大，第二十四届AAAI人工智能会议记录（第92-97页）。AAAI出版社。
[61] Smith，D.和Gogate，V.（2014）。决定论存在下的松散信仰传播。第十七届国际人工智能与统计会议论文集，4月22日至25日（第33卷，第895-903页）。冰岛雷克雅未克：JMLR:W&CP。
[62] Van den Broeck，G.、Taghipour，N.、Meert，W.、Davis，J.和De Raedt，L.（2011年）。通过一阶知识汇编提升概率推理。7月16日至22日在西班牙加泰罗尼亚巴塞罗那举行的第二十二届国际人工智能联合会议记录（第2178-2185页）。AAAI出版社。
[63] van Hoeve，W.J.、Pesant，G.和Rousseau，L.-M.（2006）。关于全球变暖：基于流量的全球软约束。启发式杂志，12（4-5），347-373·Zbl 1100.68623号 ·数字对象标识代码：10.1007/s10732-006-6550-4
[64] Venugopal，D.和Gogate，V.（2014a）。马尔可夫逻辑中基于证据的可扩展推理聚类。摘自：《第七届欧洲机器学习和数据挖掘会议论文集》（ECML PKDD 2014），法国南希，9月15-19日（第258-273页）。斯普林格。
[65] Venugopal，D.和Gogate，V.G.（2014b）。马尔可夫逻辑网络的放大重要性抽样。在第28届神经信息处理系统会议记录中，12月8日至13日，加拿大蒙特利尔：神经信息处理系统进展27（NIPS 2014）（第2978-2986页）。Curran Associates公司。
[66] Wainwright，M.和Jordan，M.（2003年）。带圈图上近似推理的半定松弛。《第17届神经信息处理系统会议论文集：神经信息处理的进展》16（NIPS-2003）（第369-376页）。麻省理工学院出版社。
[67] Wainwright，M.、Jaakkola，T.和Willsky，A.（2003）。用于汇总产品和相关算法分析的基于树的重新参数化框架。IEEE信息理论汇刊，49（5），1120-1146·Zbl 1063.68079号 ·doi:10.1109/TIT.2003.810642
[68] Wei，W.、Erenrich，J.和Selman，B.（2004）。走向高效采样：利用随机行走策略。《第十九届全国人工智能会议论文集》，7月25日至29日（第4卷，第670-676页）。加利福尼亚州圣何塞：AAAI出版社。
[69] Weinman，J.J.、Tran，L.C.和Pal，C.J.（2008）。通过稀疏信息传递，有效学习立体视觉的随机场。第10届欧洲计算机视觉会议论文集（第617-630页）。法国马赛：斯普林格。
[70] Winn，J.M.（2004）。可变消息传递及其应用。剑桥大学博士论文。
[71] Winn，J.M.和Bishop，C.M.（2005年）。可变消息传递。机器学习研究杂志，661-694·Zbl 1222.68332号
[72] Yeang，C.-H.（2010年）。欧拉图上的精确循环信念传播。第十二届人工智能国际会议论文集，美国内华达州拉斯维加斯，7月12-15日（第471-477页）。CSREA出版社。
[73] Yedidia，J.S.、Freeman，W.T.和Weiss，Y.（2003）。理解信念传播及其推广。探索新千年的人工智能，8236-239。
[74] Yedidia，J.、Freeman，W.和Weiss，Y.（2005年）。构造自由能量近似和广义置信传播算法。IEEE信息理论汇刊，72282-2312·Zbl 1283.94023号
[75] Yuille，A.L.（2001）。最小化自由能的双回路算法。第三届计算机视觉和模式识别中能量最小化方法国际研讨会论文集，法国NRIA Sophia-Antipolis，9月3-5日（第3-18页）。斯普林格·Zbl 1001.68602号
[76] Yuille，A.L.（2002）。最小化bethe和kikuchi自由能的Cccp算法：信念传播的收敛替代方案。神经计算，14（7），1691-1722·Zbl 1051.68121号 ·doi:10.1162/08997660260028674
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。