×
Van Haaren，简;盖伊，范登·布勒克;温妮斯·梅特;杰西·戴维斯

提升了马尔可夫逻辑网络的生成学习。 （英语） Zbl 1357.68187号

马赫。学习。 103，第1期，27-55（2016）.
摘要：马尔可夫逻辑网络（MLN）是一种著名的统计关系学习形式，它将马尔可夫网络与一阶逻辑相结合。MLN将权重附加到一阶逻辑中的公式。从数据中学习MLN是一项具有挑战性的任务，因为它需要在巨大的可能理论空间中进行搜索。此外，评估理论的可能性需要学习理论中所有公式的权重。这反过来又需要进行概率推理，这在MLN中通常是难以解决的。提升推理通过利用模型中的对称性来加速概率推理。我们探讨了在学习MLN时如何使用提升推理。具体来说，我们研究了生成性学习，其目标是在给定数据的情况下最大化模型的可能性。首先，我们提供了一种用于学习最大似然权重的通用算法，该算法适用于任何精确的提升推理方法。相比之下，大多数现有方法优化近似度量，如伪-可能性。其次，我们提出了一种基于一阶知识编译的具体参数学习算法。第三，我们提出了一种学习可提升MLN的结构学习算法，这是第一种精确优化模型可能性的MLN结构学习算法。最后，我们对三个真实数据集进行了实证评估。与几种相互竞争的近似方法相比，我们的参数学习算法可以得到更精确的模型。它在测试集对数似然和预测任务方面学习更准确的模型。此外，我们温顺的学习者在预测任务上的表现优于顽固的模型，这表明可提升模型是一个强大的假设空间，这可能足以解决许多标准学习问题。

引用于7文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

统计关系学习;提升概率推理;马尔可夫逻辑网络;参数学习;结构学习

软件：

PMTK公司;快速信息;L-BFGS公司;炼金术
PDF格式BibTeX公司 XML格式引用
\textit{J.Van Haaren}等人，马赫。学习。103、1号、27-55（2016；Zbl 1357.68187）
全文： DOI程序

参考文献：

[1] Ahmadi，B.、Kersting，K.和Natarajan，S.（2012年）。使用随机梯度方法提升关系模型的在线训练。在2012年欧洲会议关于机器学习和数据库中知识发现的原理和实践的会议记录中。
[2] Beame，P.、Van den Broeck，G.、Gribkoff，E.和Suciu，D.（2015）。对称加权一阶模型计数。第34届数据库系统原理研讨会论文集·Zbl 1045.68131号
[3] 贝尔，E.（1934年）。指数。《美国数学月刊》，第41期，第411-419页·Zbl 0010.05401号 ·数字对象标识代码：10.2307/2300300
[4] Besag，J.（1975年）。非晶格数据的统计分析。统计学家，24179-195·doi:10.2307/2987782
[5] Boyd，K.、Santos Costa，V.、Davis，J.和Page，D.（2012）。精确调用空间中的不可达区域及其对经验评估的影响。第29届机器学习国际会议论文集。
[6] Bui，H.B.、Huynh T.N.和de Salvo Braz，R.（2012）。对每一个物体都有明确的软证据进行精确的推论。第26届AAAI人工智能会议论文集。
[7] Chavira，M.和Darwiche，A.（2008年）。通过加权模型计数进行概率推断。人工智能，172（6-7），772-799·Zbl 1182.68297号 ·doi:10.1016/j.artint.2007.11.002
[8] Chechetka，A.和Guestrin，C.（2007年）。细连接树的有效原则学习。神经信息处理系统进展，20，273-280。
[9] Darwiche，A.（2009年）。贝叶斯网络建模与推理。剑桥：剑桥大学出版社·Zbl 1231.68003号 ·doi:10.1017/CBO9780511811357
[10] Darwiche，A.和Marquis，P.（2002年）。知识汇编图。《人工智能研究杂志》，17（1），229-264·Zbl 1045.68131号
[11] De Raedt，L.、Frasconi，P.、Kersting，K.和Muggleton，S.（2008）。概率归纳逻辑程序设计：理论与应用。柏林：斯普林格·兹比尔1132.68007 ·doi:10.1007/978-3-540-78652-8
[12] de Salvo Braz，R.、Amir，E.和Roth，D.（2005）。提升了一阶概率推断。第19届国际人工智能联合会议记录（第1319-1325页）。
[13] Della Pietra，S.、Della Pietra，V.和Lafferty，J.（1997年）。诱导随机场的特征。IEEE模式分析和机器智能汇刊，19，380-392·数字对象标识代码：10.1109/34.588021
[14] Domingos，P.和Webb，W.A.（2012年）。可牵引马尔可夫逻辑。在第26届AAAI人工智能会议的会议记录中。
[15] Getoor，L.和Taskar，B.（编辑）。(2007). 统计关系学习导论。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1141.68054号
[16] Gogate，V.和Domingos，P.（2011年）。概率定理证明。第27届人工智能不确定性会议论文集。
[17] Huynh，T.N.和Mooney，R.J.（2009年）。马尔可夫逻辑网络的最大边缘权值学习。《2009年欧洲机器学习与数据库知识发现原理与实践会议论文集》（第564-579页）。
[18] Jaeger，M.和Van den Broeck，G.（2012年）。概率推理的可提升性：上下限。第二届统计关系人工智能国际研讨会论文集。
[19] Jaimovich，A.、Meshi，O.和Friedman，N.（2007年）。对称关系马尔可夫随机场中基于模板的推理。第23届人工智能不确定性会议论文集（第191-199页）。
[20] Jaimovich，A.、Meshi，O.、McGraw，I.和Elidan，G.（2010年）。FastInf：一个有效的近似推理库。机器学习研究杂志，11733-1736·Zbl 1242.62003号
[21] Kersting，K.（2012年）。提升了概率推理。第20届欧洲人工智能会议论文集。
[22] Kersting，K.、Ahmadi，B.和Natarajan，S.（2009年）。计算信仰传播。《第25届人工智能不确定性会议论文集》（第277-284页）。
[23] Kok，S.和Domingos，P.（2005）。学习马尔可夫逻辑网络的结构。第22届国际机器学习会议论文集（第441-448页）。
[24] Kok，S.和Domingos，P.（2010年）。使用结构模体学习马尔可夫逻辑网络。第27届机器学习国际会议论文集（第551-558页）。
[25] Kok，S.、Sumner，M.、Richardson，M.，Singla，P.、Poon，H.、Lowd，D.和Domingos，P.（2008）。统计关系人工智能的炼金术系统。华盛顿州西雅图理工学院：华盛顿大学计算机科学与工程系，http://alchemy.cs.washington.edu
[26] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1183.68483号
[27] Liu，D.C.和Nocedal，J.（1989）。关于用于大规模优化的有限内存BFGS方法。数学规划，45（3），503-528·兹比尔0696.90048 ·doi:10.1007/BF01589116
[28] Lowd，D.和Domingos，P.（2007年）。马尔可夫逻辑网络的有效权值学习。第十一届数据库知识发现实践会议论文集（第200-211页）。
[29] Lowd，D.和Domingos，P.（2008）。学习算术电路。第24届人工智能不确定性会议论文集。
[30] Lowd，D.和Rooshenas，A.（2013年）。用算术电路学习马尔可夫网络。第16届人工智能和统计国际会议记录（第406-414页）。
[31] Mihalkova，L.和Mooney，R.J.（2007）。马尔可夫逻辑网络结构的自底向上学习。第24届机器学习国际会议论文集（第625-632页）。
[32] Milch，B.、Zettlemoyer，L.S.、Kersting，K.、Haimes，M.和Kaelbling，L.P.（2008）。使用计数公式提升概率推断。第23届AAAI人工智能会议记录（第1062-1068页）。
[33] Murphy，K.P.（2012）。机器学习：概率观点。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1295.68003号
[34] Narasimhan，M.和Bilmes，J.（2004）。PAC学习有界树宽图形模型。《第20届人工智能不确定性会议论文集》（第410-417页）。
[35] Niepert，M.和Van den Broeck，G.（2014）。可交换性的可牵引性：有效概率推理的新视角。arXiv:1401.1247。
[36] Park，J.D.（2002）。MAP复杂性结果和近似方法。在第18届人工智能不确定性会议记录中（第388-396页）。
[37] Poole，D.（2003）。一阶概率推理。第18届国际人工智能联合会议记录（第985-991页）。
[38] Poole，D.、Bacchus，F.和Kisynski，J.（2011年）。走向完全提升基于搜索的概率推理。arXiv:1107.4035。
[39] Poon，H.和Domingos，P.（2006年）。可靠且有效的推理，具有概率和确定性依赖性。《第21届全国人工智能会议论文集》（第458-463页）。
[40] Richardson，M.和Domingos，P.（2006年）。马尔可夫逻辑网络。机器学习，62（1），107-136·Zbl 1470.68221号 ·doi:10.1007/s10994-006-5833-1
[41] Rota，G.C.（1964年）。一个集合的分区数。《美国数学月刊》，71（5），498-504·Zbl 0121.01803号 ·doi:10.2307/2312585
[42] Singla，P.和Domingos，P.（2005）。马尔可夫逻辑网络的判别训练。《第20届全国人工智能会议论文集》（第868-873页）。
[43] Singla，P.和Domingos，P.（2008）。提升了一级信念传播。第23届AAAI人工智能会议记录（第1094-1099页）·Zbl 1242.62003号
[44] Taghipour，N.和Davis，J.（2012）。提升变量消除的广义计数。第二届统计关系人工智能国际研讨会论文集·Zbl 1319.68220号
[45] Taghipour，N.、Fierens，D.、Van den Broeck，G.、Davis，J.和Blockeel，H.（2013）。提升变量消除的完整性结果。第16届国际人工智能与统计会议记录（第572-580页）。
[46] Van den Broeck，G.（2011年）。提升概率推理一阶知识编译的完备性。神经信息处理系统进展，241386-1394。
[47] Van den Broeck，G.（2013）。提升统计关系模型中的推理和学习。KU Leuven博士论文·Zbl 0121.01803号
[48] Van den Broeck，G.和Darwiche，A.（2013年）。关于提升推理中二元证据的复杂性和近似性。神经信息处理系统进展，262868-2876。
[49] Van den Broeck，G.，Davis，J.（2012）。一阶知识编译中的条件反射和提升概率推理。在第26届AAAI人工智能会议的会议记录中。
[50] Van den Broeck，G.、Taghipour，N.、Meert，W.、Davis，J.和De Raedt，L.（2011年）。通过一阶知识汇编提升概率推理。第22届国际人工智能联合会议记录（第2178-2185页）。
[51] Van den Broeck，G.、Choi，A.和Darwiche，A.（2012年）。提升放松、补偿然后恢复：从近似到精确的提升概率推断。在第28届人工智能不确定性会议记录中。
[52] Van den Broeck，G.、Meert，W.和Davis，J.（2013）。提升生成参数学习。第三届统计关系人工智能国际研讨会论文集·Zbl 1357.68187号
[53] Van den Broeck，G.、Meert，W.和Darwiche，A.（2014）。加权一阶模型计数的Skolemization。在第14届知识表示和推理原则国际会议的会议记录中。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。