×
阿诺Nguembang Fadja；法布里齐奥·里古齐；伊芙琳娜·拉姆

学习分层概率逻辑程序。 （英语） Zbl 07465652号

机器。学习。 110，第7期，1637-1693（2021）.
概要：概率逻辑编程（PLP）结合了逻辑程序和概率。由于其表达性和简单性，它被认为是在以不确定性为特征的关系域中进行学习和推理的强大工具。然而，由于推理成本的原因，学习通用PLP的参数和结构仍然需要大量的计算。我们最近提出了一种通用PLP语言的限制，称为层次PLP（HPLP），其中子句和谓词是层次组织的。HPLP可以转换为算术电路或深度神经网络，推理比一般PLP便宜得多。本文提出了从数据中学习HPLP参数和结构的算法。我们首先提出了一种称为层次概率逻辑程序参数学习（PHIL）的算法，该算法使用梯度下降和期望最大化对HPLP进行参数估计。我们还提出了分层概率逻辑规划（SLEAHP）的结构学习，它从数据中学习HPLP的结构和参数。将PHIL和SLEAHP分别与PLP和Markov Logic Networks最先进的参数和结构学习系统进行了比较实验。将PHIL与EMBLEM、ProbeLog2和Tuffy进行比较，并将SLEAHP与SLIPCOVER、PROBFOIL+、MLB-BC、MLN-BT和RDN-B进行比较。在五个众所周知的数据集上的实验表明，我们的算法在更短的时间内实现了相似且通常更好的精度。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

概率逻辑程序设计；分布语义；算术电路；梯度下降；反向传播

软件：

皮塔；PRMLT公司；ProbLog（问题日志）；亚当；SWI-预测；RelNN公司；图菲；cplint（cplint）；XSB公司；Metaopt公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Nguembang Fadja}等人，马赫。学习。110，第7号，1637--1693（2021；Zbl 07465652）
全文： 内政部

参考文献：

[1] Akers，SB，二进制决策图，IEEE计算机汇刊，27，6，509-516（1978）·Zbl 0377.94038号 ·doi:10.10109/TC.178.1675141
[2] 阿尔贝蒂，M。；贝洛迪，E。；科塔，G。；Riguzzi，F。；Zese，R.，《关于SWISH的cplint：使用网络浏览器进行概率逻辑推理》，《人工智能》，2017年第11期，第147-64页·doi:10.3233/IA-170105
[3] Alberti，M.、Cota，G.、Riguzzi，F.和Zese，R.（2016）。网络上的概率逻辑推理。收录于：G.Adorni、S.Cagnoni、M.Gori、M.Maratea（编辑）AI*IA 2016，LNCS，第10037卷，第351-363页。斯普林格。doi:10.1007/978-3-319-49130-126。
[4] Beerenwinkel，北卡罗来纳州。；Rahnenführer，J。；Däumer，M。；霍夫曼，D。；Kaiser，R。；塞尔比希，J。；Lengauer，T.，从横截面数据中学习多种进化路径，计算生物学杂志，12584-598（2005）·doi:10.1089/cmb.2005.12.584
[5] Bellodi，E.和Riguzzi，F.（2012年）。学习概率逻辑程序的结构。S.Muggleton、A.Tamaddoni-Nezhad和F.Lisi（编辑），第22届归纳逻辑编程国际会议，LNCS（第7207卷，第61-75页）。斯普林格·Zbl 1379.68269号
[6] 贝洛迪，E。；Riguzzi，F.，概率逻辑程序二进制决策图的期望最大化，智能数据分析，17，2，343-363（2013）·doi:10.3233/IDA-130582
[7] 贝洛迪，E。；Riguzzi，F.，通过搜索子句空间进行概率逻辑程序的结构学习，《逻辑编程的理论与实践》，15，2，169-212（2015）·Zbl 1379.68269号 ·doi:10.1017/S1471068413000689
[8] Bishop，C.（2016）。模式识别和机器学习。信息科学与统计。斯普林格。
[9] Clark，K.L.（1978）。否定为失败。《逻辑和数据库》（第293-322页）。斯普林格。
[10] Cox，D.A.（2012年）。伽罗瓦理论。纯数学与应用数学。？：一个威利系列的文本，专著和拖拉机。霍博肯：威利·Zbl 1247.12006年
[11] Cropper，A。；莫雷尔，R。；Muggleton，S.，《学习高阶逻辑程序》，机器学习，108，7，1063-1083（2019）·Zbl 1493.68066号 ·doi:10.1007/s10994-019-05862-7
[12] Cropper，A。；Muggleton，SH，学习高效逻辑程序，机器学习，108，7，1063-1083（2019）·Zbl 1493.68066号 ·doi:10.1007/s10994-018-5712-6
[13] Darwiche，A。；马塔拉斯，RL；Saitta，L.，《将CNF编译成可分解否定范式的新进展》，第16届欧洲人工智能会议（ECAI 20014），328-332（2004），阿姆斯特丹：阿姆斯特丹IOS出版社
[14] Davis，J.和Goadrich，M.（2006）。精确再调用和roc曲线之间的关系。第23届机器学习国际会议论文集（第233-240页）。ACM公司。
[15] De Raedt，L.、Kimmig，A.和Toivonen，H.（2007）。ProbLog：一种概率Prolog及其在链路发现中的应用。收录于：M.M.Veloso（编辑）IJCAI 2007（第7卷，第2462-2467页）。AAAI出版社/IJCAI。
[16] De Raedt，L.、Manhaeve，R.、Dumancic，S.、Demeester，T.和Kimmig，A.（2019年）。神经符号=神经+逻辑+概率。在NeSy'19@IJCAI，第14届神经符号学习和推理国际研讨会（第1-4页）。
[17] 德雷克，JD；沃斯利，JC，《实用PostgreSQL》（2002），牛顿：奥莱利传媒公司，牛顿
[18] Džeroski，S.（1993年）。在归纳逻辑编程中处理不完善的数据。第四届斯堪的纳维亚人工智能会议（SCAI 1993）（第111-125页）。
[19] 费伦斯，D。；Van den Broeck，G.公司。；伦肯斯，J。；谢特里奥诺夫，DS；Gutmann，B。；Thon，I.，《使用加权布尔公式的概率逻辑程序中的推理和学习》，《逻辑程序设计理论与实践》，15，3，358-401（2015）·Zbl 1379.68062号 ·doi:10.1017/S147106841400076
[20] Gelfond，M.和Lifschitz，V.（1988年）。逻辑编程的稳定模型语义。第五届逻辑编程国际会议和专题讨论会（ICLP/SLP 1988）（第88卷，第1070-1080页）。麻省理工学院出版社。
[21] Gerla，G.（2001）。模糊逻辑，逻辑趋势（第11卷）。斯普林格。doi:10.1007/978-94-015-9660-2.8·Zbl 0976.03026号
[22] Hájek，P.，《模糊逻辑的元数学》（1998），柏林：施普林格出版社，柏林·Zbl 0937.03030号 ·doi:10.1007/978-94-011-5300-3
[23] Huynh，T.N.和Mooney，R.J.（2011）。马尔可夫逻辑网络的在线结构学习。在关于数据库中的机器学习和知识发现的欧洲联合会议上（第81-96页）。斯普林格。
[24] 堪萨斯州考茨；塞尔曼，B。；Jiang，Y.，解决硬约束和软约束问题的一般随机方法，可满足性问题：理论与应用，35773-586（1996）·Zbl 0891.68100号 ·doi:10.1090/dimacs/035/15
[25] Kazemi，S.M.和Poole，D.（2018年）。Relnn：关系学习的深层神经模型。在第三十二届AAAI人工智能会议上。
[26] Khot，T.、Natarajan，S.、Kersting，K.和Shavlik，J.（2011年）。通过函数梯度提升学习马尔可夫逻辑网络。2011年IEEE第11届数据挖掘国际会议（第320-329页）。电气与电子工程师协会。
[27] Kingma，D.和Ba，J.（2014）。亚当：一种随机优化方法。arXiv预打印arXiv:1412.6980。
[28] Kok，S.和Domingos，P.（2005）。学习马尔可夫逻辑网络的结构。ICML 2005（第441-448页）。ACM公司。
[29] Law，M.、Russo，A.和Broda，K.（2016年）。从上下文相关的示例中迭代学习答案集程序。arXiv预印arXiv:1608.01946·Zbl 1379.68074号
[30] Lee，S.I.、Ganapathi，V.和Koller，D.（2007年）。使用（l_1）-正则化的马尔可夫网络的有效结构学习。《神经信息处理系统进展》（第817-824页）。
[31] Li，H.，Zhang，K.和Jiang，T.（2005）。正则化em算法。AAAI（第807-812页）。
[32] Lowd，D.和Domingos，P.（2007年）。马尔可夫逻辑网络的有效权值学习。在关于数据挖掘和知识发现原则的欧洲会议上（第200-211页）。斯普林格。
[33] Lowd，D.和Rooshenas，A.（2013年）。用算术电路学习马尔可夫网络。摘自：《人工智能与统计》（第406-414页）。
[34] May，W.，《信息提取与集成：蒙迪尔案例研究》（1999年），技术代表：弗莱堡大学，信息研究所，技术代表。
[35] Meert，W.、Struyf，J.和Blockel，H.（2010年）。具有上下文变量消除的CP-Logic理论推理，并与基于BDD的推理方法进行比较。参见：L.De Raedt（编辑）ILP 2009，LNCS（第5989卷，第96-109页）。斯普林格。doi:10.1007/978-3642-13840-9_10·Zbl 1286.68421号
[36] 默克，S。；Holmes，I.，将细菌基因发现的hmm结构作为概率逻辑程序进行评估，生物信息学，28，5，636-642（2012）·doi:10.1093/bioinformatics/btr698
[37] Muggleton，S.，《逆蕴涵与程序》，《新一代计算》，第13期，第245-286页（1995年）·doi:10.1007/BF03037227
[38] Natarajan，S。；科特，T。；Kersting，K。；Gutmann，B。；Shavlik，J.，《统计关系学习的基于梯度的促进：关系依赖网络案例》，机器学习，86，1，25-56（2012）·Zbl 1243.68245号 ·doi:10.1007/s10994-011-5244-9
[39] Nguembang Fadja，A.、Lamma，E.和Riguzzi，F.（2017年）。深度概率逻辑编程。收录于：C.Theil Have，R.Zese（编辑）PLP 2017，CEUR-WS（第1916卷，第3-14页）。Sun SITE中欧。
[40] Nguembang Fadja，A.和Riguzzi，F.（2017年）。概率逻辑编程的实际应用。摘自：A.Holzinger，R.Goebel，M.Ferri，V.Palade（编辑）《面向集成机器学习和知识提取》，LNCS（第10344卷）。斯普林格。doi:10.1007/978-3-319-69775-8_5·Zbl 1493.68310号
[41] Nguembang Fadja，A。；Riguzzi，F.，提升概率逻辑程序的区分学习，机器学习（2018）·Zbl 1493.68310号 ·doi:10.1007/s10994-018-5750-0
[42] Nguembang Fadja，A.、Riguzzi，F.和Lamma，E.（2018年）。深度概率逻辑规划中的期望最大化。意大利人工智能协会国际会议（第293-306页）。斯普林格。
[43] Niu，F.、Ré，C.、Doan，A.和Shavlik，J.（2011）。Tuffy：使用rdbms在马尔可夫逻辑网络中扩展统计推理。arXiv预印本arXiv：1104.3216。
[44] Pearl，J.，《智能系统中的概率推理：似是而非推理网络》（1988年），伯灵顿：摩根·考夫曼（Morgan Kaufmann），伯林顿·Zbl 0746.68089号
[45] Poole，D.，《在不确定性下建模多个代理的独立选择逻辑》，《人工智能》，94，7-56（1997）·Zbl 0902.03017号 ·doi:10.1016/S0004-3702（97）00027-1
[46] Przymusinski，T.C.（1989）。每个逻辑程序都有一个自然分层和一个迭代的最小不动点模型。第八届ACM SIGACT-SIGMOD-SIGART数据库系统原理研讨会（PODS 1989）（第11-21页）。ACM出版社。
[47] Raedt，L.D.、Dries，A.、Thon，I.、den Broeck，G.V.和Verbeke，M.（2015）。从概率示例中归纳概率关系规则。摘自：Q.Yang，M.Wooldridge（编辑）第24届国际人工智能联合会议（IJCAI 2015）（第1835-1843页）。AAAI出版社。
[48] 拉曼，V。；拉维库马尔，B。；Rao，SS，简化的np-complete maxsat问题，《信息处理快报》，65，1，1-6（1998）·Zbl 1339.68122号 ·doi:10.1016/S0020-0190（97）00223-8
[49] Riguzzi，F.，《加速概率逻辑程序的推理》，《计算机杂志》，57，3，347-363（2014）·doi:10.1093/comjnl/bxt096
[50] Riguzzi，F.，概率逻辑编程基础（2018），Gistrup：River Publishers，Gistrop·Zbl 1420.68003号
[51] Riguzzi，F.、Bellodi，E.、Lamma，E.，Zese，R.和Cota，G.（2016）。网络上的概率逻辑编程。《软件：实践与经验》，46（10），1381-1396。doi:10.1002/spe.2386·Zbl 1347.68320号
[52] Riguzzi，F.、Lamma，E.、Alberti，M.、Bellodi，E.，Zese，R.和Cota，G.（2017年）。用于自然语言处理的概率逻辑编程。收录于：F.Chesani、P.Mello、M.Milano（编辑）深度理解和推理研讨会，URANIA 2016，CEUR研讨会论文集（第1802卷，第30-37页）。Sun SITE中欧·Zbl 1347.68320号
[53] Riguzzi，F.和Swift，T.（2010年）。带注释析取的逻辑程序推理的表格和答案包含。在ICLP TC 2010中，LIPIcs（第7卷，第162-171页）。达格斯图尔宫（Schloss Dagstuhl）-莱布尼茨-泽特鲁姆富尔信息宫（Leibniz-Zentrum fuer Informatik）。doi:10.4230/LIPIcs。ICLP.2010.162·兹比尔1237.68049
[54] Riguzzi，F。；Swift，T.，《PITA系统：不确定性推理的表格和答案包容》，《逻辑编程理论与实践》，11，4-5，433-449（2011）·Zbl 1218.68169号 ·文件编号：10.1017/S14710684110010X
[55] Rooshenas，A.和Lowd，D.（2016）。算术电路的判别结构学习。《人工智能与统计》（第1506-1514页）。
[56] Sang，T.、Beame，P.和Kautz，H.A.（2005年）。通过加权模型计数进行贝叶斯推理。第20届全国人工智能会议（第475-482页）。美国加利福尼亚州帕洛阿尔托：AAAI出版社。
[57] 佐藤（1995）。具有分布语义的逻辑程序的统计学习方法。L.Sterling（编辑）ICLP 1995，第715-729页。麻省理工学院出版社。
[58] Sato，T.、Zhou，N.F.、Kameya，Y.、Izumi，Y.、Kubota，K.和Kojima，R.（2018）。PRISM用户手册（2.3版）（2017年）。http://rjida.meijo-u.ac.jp/prism/download/prism23.pdf。2018年6月8日查阅。
[59] Sourek，G.、Aschenbrenner，V.、Zelezniý，F.和Kuzelka，O.（2016）。提升了关系神经网络。T.R.Besold，A.S.d'Avila Garcez，G.F.Marcus，R.Miikkulainen（编辑）NIPS认知计算研讨会2015，CEUR研讨会论文集（第1583卷）。CEUR-WS.org·Zbl 1444.68163号
[60] Srinivasan，A.、King，R.D.、Muggleton，S.和Sternberg，M.J.E.（1997）。使用ILP预测致癌。N.Lavrac&S.Díeroski（编辑），ILP 1997，LNCS（第1297卷，第273-287页）。斯普林格。
[61] Srinivasan，A。；麻格尔顿，S。；MJE斯特恩伯格；King，RD，《诱变性理论：一阶和基于特征的诱导研究》，人工智能，85，1-2，277-299（1996）·doi:10.1016/0004-3702（95）00122-0
[62] 斯威夫特，T。；Warren，DS，XSB：用表格逻辑编程扩展序言，逻辑编程理论与实践，12，1-2，157-187（2012）·Zbl 1244.68021号 ·doi:10.1017/S1471068411000500
[63] Van Gelder，A。；KA罗斯；Schlipf，JS，《通用逻辑程序的良好语义》，《ACM杂志》，38，3，620-650（1991）·兹比尔0799.68045
[64] Vennekens，J.、Verbaeten，S.和Bruynooghe，M.（2004）。带注释析取的逻辑程序。收录于：ICLP 2004，LNCS（第3132卷，第431-445页）。斯普林格·Zbl 1104.68391号
[65] Wielemaker，J。；施里杰弗斯，T。；特里斯卡，M。；Lager，T.，SWI-prolog，逻辑编程理论与实践，12，1-2，67-96（2012）·Zbl 1244.68023号 ·文件编号：10.1017/S1471068411000494
[66] ƀeleznỳ, F、。；Srinivasan，A。；Page，CD，ILP中的随机重新启动搜索，机器学习，64，1-3，183-208（2006）·Zbl 1103.68484号 ·doi:10.1007/s10994-006-7733-9
[67] ƀeleznỳ, F.、Srinivasan，A.和Page，D.（2002年）。格搜索运行时分发可能是重跟踪的。在归纳逻辑编程国际会议上（第333-345页）。斯普林格·Zbl 1017.68537号
[68] ƀeleznỳ, F.、Srinivasan，A.和Page，D.（2004）。ilp中随机重启搜索的蒙特卡罗研究。在归纳逻辑编程国际会议上（第341-358页）。斯普林格·Zbl 1105.68359号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。