阿诺德·恩古班·法贾;法布里西奥·里古齐 提升了概率逻辑程序的区分性学习。 （英语） Zbl 1493.68310号 机器。学习。 108，第7期，1111-1135（2019）. 概要：概率逻辑编程（PLP）为不确定关系模型的推理提供了一个强大的工具。然而，由于推理的高成本，学习概率逻辑程序的成本很高。在克服这个问题的建议中，最有希望的是取消推断。本文考虑了易于提升推理的PLP模型，并提出了一种算法，用于从正反例中学习这些模型的参数和结构。我们讨论了使用EM和LBFGS进行参数学习，以及使用LIFTCOVER进行结构学习，这是一种类似于SLIPCOVER的算法。在12个数据集上比较LIFTCOVER和SLIPCOVER的结果表明，它可以在很短的时间内实现类似或更好质量的解决方案。 引用于6文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68N17号 逻辑编程 68层37 人工智能背景下的不确定性推理 关键词：统计关系学习;概率归纳逻辑程序设计;概率逻辑程序设计;提升推理;期望最大化 软件：cplint公司;FactorBase公司;棱镜;SWI-预测;阿勒夫;PITA公司;探测日志;欧兹;L-BFGS公司 PDF格式BibTeX公司 XML格式引用 \textit{A.Nguembang Fadja}和\textit{F.Riguzzi}，马赫。学习。108，编号7，1111--1135（2019；Zbl 1493.68310） 全文： 内政部 参考文献： [1] Alberti，M.、Bellodi，E.、Cota，G.、Riguzzi，F.和Zese，R.（2017年）。SWISH上的cplint：使用web浏览器进行概率逻辑推理。人工智能，11（1），47-64。https://doi.org/10.3233/IA-170105。 ·doi:10.3233/IA-170105 [2] Bellodi，E.和Riguzzi，F.（2012年）。学习概率逻辑程序的结构。S.Muggleton、A.Tamaddoni-Nezhad和F.Lisi（编辑），第22届归纳逻辑编程国际会议，第7207卷，LNCS。柏林：Springer，第61-75页·Zbl 1379.68269号 [3] Bellodi，E.和Riguzzi，F.（2013年）。概率逻辑程序二进制决策图上的期望最大化。智能数据分析，17（2），343-363。 [4] Bellodi，E.和Riguzzi，F.（2015）。通过搜索子句空间实现概率逻辑程序的结构学习。逻辑程序设计理论与实践，15（2），169-212。https://doi.org/10.1017/S1471068413000689。 ·Zbl 1379.68269号 ·doi:10.1017/S1471068413000689 [5] Bellodi，E.、Lamma，E.，Riguzzi，F.、Costa，V.S.和Zese，R.（2014）。概率逻辑编程的提升变量消除。逻辑程序设计理论与实践，14（4-5），681-695。https://doi.org/10.1017/S1471068414000283。 ·Zbl 1309.68027号 ·doi:10.1017/S1471068414000283 [6] Darwiche，A.和Marquis，P.（2002年）。知识汇编图。《人工智能研究杂志》，17，229-264·Zbl 1045.68131号 [7] Davis，J.和Goadrich，M.（2006）。精确再调用和ROC曲线之间的关系。在欧洲机器学习会议（ECML 2006）上，ACM，第233-240页。 [8] De Raedt，L.和Kimmig，A.（2015）。概率（逻辑）编程概念。机器学习，100（1），5-47·Zbl 1346.68050号 [9] De Raedt，L.、Kimmig，A.和Toivonen，H.（2007）。ProbLog:概率序言及其在链路发现中的应用。M.M.Veloso（编辑），第20届国际人工智能联合会议（IJCAI 2007），第7卷。AAAI出版社/IJCAI，第2462-2467页。 [10] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。英国皇家统计学会期刊B辑（方法学），39（1），1-38·Zbl 0364.62022号 [11] Di Mauro，N.、Bellodi，E.和Riguzzi，F.（2015）。概率逻辑程序的基于频带的Monte-Carlo结构学习。机器学习，100（1），127-156。https://doi.org/10.1007/s10994-015-5510-3。 ·Zbl 1346.68051号 ·doi:10.1007/s10994-015-5510-3 [12] Fawcett，T.（2006）。ROC分析简介。模式识别信件，27861-874。 [13] 很好，I.J.（1961）。因果演算（I）。英国科学哲学杂志，11（44），305-318。 [14] Gordon，D.M.（1998）。快速求幂方法综述。算法杂志，27（1），129-146。https://doi.org/10.1006/jagm.1997.0913。 ·Zbl 0915.11064号 ·doi:10.1006/jagm.1997.0913 [15] Gorlin，A.、Ramakrishnan，C.R.和Smolka，S.A.（2012年）。使用概率表逻辑编程进行模型检查。逻辑程序设计理论与实践，12（4-5），681-700·Zbl 1260.68062号 [16] Hoos，H.H.和Stützle，T.（2004）。随机局部搜索：基础和应用。纽约：Elsevier/Morgan Kaufmann·Zbl 1126.68032号 [17] Huynh，T.N.和Mooney，R.J.（2008）。马尔可夫逻辑网络的判别结构和参数学习。W.W.Cohen、A.McCallum和S.T.Roweis（编辑），《第25届机器学习国际会议论文集》，ACM，第416-423页。 [18] Huynh，T.N.和Mooney，R.J.（2011）。马尔可夫逻辑网络的在线结构学习。D.Gunopulos、T.Hofmann、D.Malerba和M.Vazirgiannis（编辑），《欧洲机器学习与数据库知识发现原理和实践会议》（ECMLPKDD 2011），第6912卷。计算机科学课堂讲稿。施普林格，第81-96页。https://doi.org/10.1007/978-3-642-23783-6_6。 ·Zbl 1222.68011号 [19] Kazemi，S.M.、Buchman，D.、Kersting，K.、Natarajan，S.和Poole，D.（2014）。关系逻辑回归。C.Baral、G.D.Giacomo和T.Eiter（编辑），第14届知识表示和推理原则国际会议（KR 2014）。AAAI出版社。 [20] Kersting，K.和De Raedt，L.（2002年）。学习贝叶斯逻辑程序的基本原则。弗莱堡大学计算机科学研究所，Citeser·兹比尔1137.68544 [21] Khot，T.、Natarajan，S.、Kersting，K.和Shavlik，J.W.（2011年）。通过函数梯度提升学习马尔可夫逻辑网络。第11届IEEE数据挖掘国际会议论文集，IEEE，第320-329页。 [22] Kietz，J.和Lübbe，M.（1994）。一种有效的归纳逻辑程序设计包含算法。W.W.Cohen，&H.Hirsh（编辑），第11届机器学习国际会议，Morgan Kaufmann，第130-138页。 [23] Kisynski，J.和Poole，D.（2009年）。定向一阶概率模型中的提升聚合。C.Boutiler（编辑），第21届国际人工智能联合会议（IJCAI 2009），第1922-1929页。 [24] Kok，S.和Domingos，P.（2005）。学习马尔可夫逻辑网络的结构。在第22届机器学习国际会议上，ACM，第441-448页。 [25] Kok，S.和Domingos，P.（2010年）。使用结构模体学习马尔可夫逻辑网络。J.Fürnkranz，&T.Joachims（编辑），第27届机器学习国际会议，Omnipress，第551-558页。 [26] Koller，D.和Friedman，N.（2009年）。概率图形模型：原理和技术。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1183.68483号 [27] Koller，D.和Pfeffer，A.（1997年）。噪声一阶规则的学习概率。在国际JCAI中，第1316-1323页。 [28] Meert，W.、Struyf，J.和Blockel，H.（2008）。利用贝叶斯网络学习技术学习基础CP-Logic理论。信息学基础，89（1），131-160·Zbl 1155.68493号 [29] Meert，W.、Struyf，J.和Blockel，H.（2010年）。具有上下文变量消除的CP-Logic理论推理，并与基于BDD的推理方法进行比较。L.De Raedt（编辑），《归纳逻辑编程》，第19届国际会议（ILP 2009），第5989卷，计算机科学讲稿。施普林格，第96-109页。https://doi.org/10.1007/978-3642-13840-9_10。 ·Zbl 1286.68421号 [30] Mihalkova，L.和Mooney，R.J.（2007）。马尔可夫逻辑网络结构的自底向上学习。《第24届机器学习国际会议论文集》，ACM，第625-632页。 [31] Mörk，S.和Holmes，I.（2012年）。评估细菌基因发现hmm结构作为概率逻辑程序。生物信息学，28（5），636-642。 [32] Muggleton，S.（1995年）。逆蕴涵和程序。新一代计算，13，245-286。 [33] Natarajan，S.、Tadepalli，P.、Kunapuli，G.和Shavlik，J.（2009）。基于噪声或组合规则的关系概率模型的学习参数。在关于机器学习和应用的国际会议上，2009年。ICMLA'09年。IEEE，第141-146页。 [34] Natarajan，S.、Khot，T.、Kersting，K.、Gutmann，B.和Shavlik，J.（2012）。基于梯度的统计关系学习提升：关系依赖网络案例。机器学习，86（1），25-56·Zbl 1243.68245号 [35] Nath，A.和Domingos，P.（2015）。学习关系型sum-product网络。B.Bonet和S.Koenig（编辑），第29届全国人工智能会议，AAAI’15（第2878-2886页）。美国德克萨斯州奥斯汀：AAAI出版社。 [36] Nguembang Fadja，A。；Riguzzi，F。；Holzinger，A.（编辑）；Goebel，R.（编辑）；Ferri，M.（编辑）；Palade，V.（编辑），《概率逻辑编程在实践中》，第10344号（2017年），柏林·doi:10.1007/978-3-319-69775-85 [37] Nishino，M.、Yamamoto，A.和Nagata，M.（2014）。概率逻辑程序的稀疏参数学习方法。《统计关系人工智能》，第WS-14-13卷。2014年AAAI研讨会论文，AAAI出版社。 [38] Nocedal，J.（1980年）。用有限的存储更新拟牛顿矩阵。计算数学，35（151），773-782·Zbl 0464.65037号 [39] Pearl，J.（1988）。智能系统中的概率推理：似是而非推理网络。伯灵顿：摩根·考夫曼·Zbl 0746.68089号 [40] Poole，D.（1997）。在不确定性下建模多个代理的独立选择逻辑。人工智能，94，7-56·Zbl 0902.03017号 [41] Poole，D.（2000年）。通过否定作为失败而退缩：独立选择逻辑中的稳定模型。逻辑编程杂志，44（1-3），5-35·Zbl 0957.68013号 [42] Poole，D.（2003）。一阶概率推理。IJCAI，第3期，985-991页。 [43] Quinlan，J.R.（1990年）。从关系中学习逻辑定义。机器学习，5239-266。https://doi.org/10.1007/BF00117105。 ·doi:10.1007/BF00117105 [44] Reutemann，P.、Pfahringer，B.和Frank，E.（2004年）。用于与命题学习者和多实例学习者从关系数据中学习的工具箱。G.I.Webb和X.Yu（编辑），第17届澳大利亚人工智能联合会议（AI 1994），第3339卷。计算机科学课堂讲稿，斯普林格，第1017-1023页。https://doi.org/10.1007/978-3-540-30549-1_95。 [45] Riguzzi，F.（2014）。加速概率逻辑程序的推理。《计算机杂志》，57（3），347-363。https://doi.org/10.1093/comjnl/bxt096。 ·doi:10.1093/comjnl/bxt096 [46] Riguzzi，F.（2016）。带有函数符号的普通程序的分布语义。国际近似推理杂志，77，1-19。https://doi.org/10.1016/j.ijar.2016.05.005。 ·Zbl 1385.68022号 ·doi:10.1016/j.ijar.2016.05.005 [47] Riguzzi，F.和Swift，T.（2011年）。PITA系统：不确定性推理的表格和答案包容。逻辑程序设计理论与实践，11（4-5），433-449。https://doi.org/10.1017/S14710684110010X。 ·Zbl 1218.68169号 ·文件编号：10.1017/S14710684110010X [48] Riguzzi，F。；斯威夫特，T。；Kifer，M.（编辑）；Liu，YA（编辑），分布语义下的概率逻辑编程（2018），Bonita Springs [49] Riguzzi，F.、Bellodi，E.、Lamma，E.，Zese，R.和Cota，G.（2016）。网络上的概率逻辑编程。《软件：实践与经验》，46（10），1381-1396。https://doi.org/10.1002/spe.2386。 ·Zbl 1347.68320号 ·doi:10.1002/spe.2386 [50] Riguzzi，F.、Bellodi，E.、Zese，R.、Cota，G.和Lamma，E.（2017a）。分布语义下概率逻辑规划提升推理方法综述。国际近似推理杂志，80，313-333。https://doi.org/10.1016/j.ijar.2016.10.002。 ·Zbl 1400.68226号 ·doi:10.1016/j.ijar.2016.10.002 [51] Riguzzi，F.、Lamma，E.、Alberti，M.、Bellodi，E.，Zese，R.和Cota，G.（2017b）。自然语言处理的概率逻辑编程。F.Chesani、P.Mello和M.Milano（编辑），深度理解和推理研讨会，第1802卷，URANIA 2016，Sun SITE中欧，CEUR研讨会论文集，第30-37页·Zbl 1347.68320号 [52] 佐藤（1995）。具有分布语义的逻辑程序的统计学习方法。在L.Sterling（编辑），第12届逻辑编程国际会议（ICLP 1995），麻省理工学院出版社，第715-729页。 [53] Sato，T.和Kameya，Y.（1997年）。棱镜：一种符号统计建模语言。第15届国际人工智能联合会议（IJCAI 1997），第97卷，第1330-1339页。 [54] Sato，T.和Kubota，K.（2015年）。维特比在PRISM培训。逻辑程序设计理论与实践，15（02），147-168·Zbl 1379.68272号 [55] Schulte，O.和Khosravi，H.（2012）。通过格搜索学习关系数据的图形模型。机器学习，88（3），331-368。 [56] Srinivasan，A.（2007）。aleph手册。http://www.cs.ox.ac.uk/activities/machlearn/Aleph/Aleph.html。2018年4月3日查阅。 [57] Srinivasan，A.、Muggleton，S.、Sternberg，M.J.E.和King，R.D.（1996）。致突变性理论：一级和基于特征的诱导研究。人工智能，85（1-2），277-299。 [58] Srinivasan，A.、King，R.D.、Muggleton，S.和Sternberg，M.J.E.（1997）。使用ILP预测致癌。N.Lavrac，&S.Dzeroski（编辑），第七届归纳逻辑编程国际研讨会，第1297卷。计算机科学讲稿，柏林：施普林格出版社，273-287页。 [59] Struyf，J.、Davis，J.和Page，D.（2006年）。关系型学习者中向前看的有效近似。在欧洲机器学习会议（ECML 2006）上，计算机科学讲稿。施普林格，第775-782页。https://doi.org/10.1007/11871842_79。 [60] Taghipour，N.、Fierens，D.、Davis，J.和Blockel，H.（2013）。提升变量消除：将运算符与约束语言解耦。《人工智能研究杂志》，47393-439·Zbl 1272.68397号 [61] Valiant，L.G.（1979年）。枚举和可靠性问题的复杂性。SIAM计算机杂志，8（3），410-421·兹伯利0419.68082 [62] Van den Broeck，G.、Meert，W.和Darwiche，A.（2014）。加权一阶模型计数的Skolemization。C.Baral、G.D.Giacomo和T.Eiter（编辑），第14届知识表示和推理原则国际会议（KR 2014），AAAI出版社，第111-120页。 [63] Van Gelder，A.、Ross，K.A.和Schlipf，J.S.（1991年）。通用逻辑程序的基础良好的语义。美国医学会杂志，38（3），620-650·Zbl 0799.68045号 [64] Van Haaren，J.、Van den Broeck，G.、Meert，W.和Davis，J.（2016）。提升了马尔可夫逻辑网络的生成学习。机器学习，103（1），27-55。https://doi.org/10.1007/s10994-015-5532-x。 ·Zbl 1357.68187号 ·数字对象标识代码：10.1007/s10994-015-5532-x [65] Vennekens，J.和Verbaeten，S.（2003）。带注释析取的逻辑程序。技术代表CW386，KU Leuven·Zbl 1104.68391号 [66] Vennekens，J.、Verbaeten，S.和Bruynooghe，M.（2004年a）。带注释析取的逻辑程序。B.Demoen和V.Lifschitz（编辑），第24届逻辑编程国际会议（ICLP 2004），第3131卷。《计算机科学讲稿》，柏林：施普林格出版社，第195-209页·Zbl 1104.68391号 [67] Vennekens，J.、Verbaeten，S.和Bruynooghe，M.（2004b）。带注释析取的逻辑程序。第24届逻辑编程国际会议（ICLP 2004），第3132卷。计算机科学课堂讲稿。施普林格，第431-445页·Zbl 1104.68391号 [68] Wang，W.Y.、Mazaitis，K.和Cohen，W.W.（2014）。通过参数学习进行结构学习。J.Li、X.S.Wang、M.N.Garofalakis、I.Soboroff、T.Suel和M.Wang（编辑），第23届ACM信息和知识管理国际会议，CIKM 2014，ACM出版社，第1199-1208页。https://doi.org/10.1145/2661829.2662022。 [69] Wellman，M.P.、Breese，J.S.和Goldman，R.P.（1992年）。从知识库到决策模型。《知识工程评论》，7（1），35-53。 [70] Wielemaker，J.、Schrijvers，T.、Triska，M.和Lager，T.（2012年）。SWI-预测。逻辑程序设计理论与实践，12（1-2），67-96。https://doi.org/10.1017/S1471068411000494。 ·Zbl 1244.68023号 ·文件编号：10.1017/S1471068411000494 [71] Zhi elezní，F.、Srinivasan，A.和Page，C.D.（2002）。格搜索运行时分发可能是重跟踪的。在第12届归纳逻辑编程国际会议论文集。斯普林格·Zbl 1017.68537号 [72] Zhi elezní，F.、Srinivasan，A.和Page，C.D，Jr.（2006）。在ILP中随机重新启动搜索。机器学习，64（1-3），183-208·Zbl 1103.68484号 [73] Zhang，N.L.和Poole，D.（1994）。贝叶斯网络计算的简单方法。在第十届加拿大人工智能会议上，加拿大人工智能1994，第171-178页。 [74] Zhang，N.L.和Poole，D.L.（1996）。利用贝叶斯网络推理中的因果独立性。《人工智能研究杂志》，5301-328·Zbl 0900.68384号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。