法布里西奥·里古齐;尼古拉·迪·毛罗 将信息瓶颈应用于统计关系学习。 （英语） Zbl 1243.68247号 机器。学习。 86，第1期，89-114（2012）. 摘要：在本文中，我们建议将信息瓶颈（IB）方法应用于可简化为贝叶斯网络的统计关系学习（SRL）语言的子类。当生成的网络涉及隐藏变量时，学习这些语言需要使用从不完整数据中学习的技术，例如期望最大化（EM）算法。最近，IB方法被证明能够避免EM在使用隐藏变量学习时可能陷入的局部极大值。在这里，我们提出了一种学习可简化为贝叶斯网络的SRL语言参数的算法关系信息瓶颈（RIB）。特别是，我们将RIB专门化为一种基于分布语义、带注释析取（LPAD）的逻辑程序的语言家族。这种语言是这样一个家族的原型，其等价的贝叶斯网络包含隐藏变量。RIB根据IMDB、Cora和人工数据集进行评估，并与LeProbLog、EM、Alchemy和PRISM进行比较。实验结果表明，RIB具有良好的性能，尤其是当一些逻辑原子不被观测时。此外，当从具有相同赫伯兰德基础的解释中学习时，这尤其合适。 引用于三文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 68N17号 逻辑编程 68立方英尺 知识表示 关键词：概率归纳逻辑程序设计;统计关系学习;归纳逻辑程序设计;基于知识的模型构建;分布语义 软件：ProbLog（问题日志） PDF格式BibTeX公司 XML格式引用 \textit｛F.Riguzzi｝和\textit｛N.Di Mauro｝，马赫。学习。86，编号1，89-114（2012年；兹bl 1243.68247） 全文： 内政部 参考文献： [1] Apt，K.R.和Bezem，M.（1991年）。非周期项目。新一代计算，9（3/4），335-364·Zbl 0744.68034号 ·doi:10.1007/BF03037168 [2] 巴克斯，F。；Heckerman，D.（编辑）；Mamdani，E.H.（编辑），《使用一阶概率逻辑构建贝叶斯网络》，219-226（1993），圣马特奥 [3] Blockeel，H。；Meert，W。；Blockeel，H.（编辑）；Ramon，J.（编辑）；Shavlik，J.W.（编辑）；Tadepalli，P.（编辑），《通过将非递归LPAD转换为贝叶斯网络来学习它们》，第4894、94-108号（2007），柏林·Zbl 1201.68116号 [4] Breese，J.S.、Goldman，R.P.和Wellman，M.P.（1994年）。介绍基于知识的概率和决策模型构建专题。IEEE系统、人与控制论汇刊，24（11），1577-1579。 [5] 科斯塔，V.S。；页码，D。；卡齐，M。；库森，J。；Meek，C.（编辑）；Kjrulff，U.（编辑），CLP（BN）：概率知识的约束逻辑编程，517-524（2003），圣马特奥 [6] Dantsin，E。；Voronkov，A.（编辑），概率逻辑程序及其语义，编号592152-164（1991），圣马特奥 [7] Davis，J。；戈德里奇，M。；Cohen，W.W.（编辑）；Moore，A.（编辑），《精确复测和ROC曲线之间的关系》，第4702号，第233-240页（2006年），纽约 [8] Raedt，L。；Kimmig，A。；香薰酮，H。；Veloso，M.M.（编辑），ProbLog:概率序言及其在链路发现中的应用，2462-2467（2007） [9] De Raedt，L.、Demen，B.、Fierens，D.、Gutmann，B.、Janssens，G.、Kimmig，A.、Landwehr，N.、Mantadelis，T.、Meert，W.、Rocha，R.、Costa，V.、Santos，V.，Thon，I.和Vennekens，J.（2008年）。朝向消化统计关系学习的字母组。在概率编程研讨会上（NIPS）。 [10] De Raedt，L.、Frasconi，P.、Kersting，K.和Muggleton，S.（编辑）（2008年）。LNCS：第4911卷。概率归纳逻辑程序设计-理论和应用。柏林：斯普林格·兹比尔1132.68007 [11] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。英国皇家统计学会期刊B辑（方法学），39（1），1-38·Zbl 0364.62022号 [12] Elidan，G.和Friedman，N.（2005年）。学习隐藏变量网络：信息瓶颈方法。机器学习研究杂志，681-127·Zbl 1222.68190号 [13] 弗里德曼，N。；库珀，G.F.（编辑）；道德，S.（编辑），贝叶斯结构EM算法，129-138（1998），圣马特奥 [14] 弗里德曼，N。；O.莫森森。；Slonim，N。；蒂什比，N。；Breese，J.S.（编辑）；Koller，D.（编辑），《多元信息瓶颈》，152-161（2001），圣马特奥 [15] Getoor，L.和Taskar，B.（编辑）（2007年）。统计关系学习导论。剑桥：麻省理工学院出版社·Zbl 1141.68054号 [16] Gutmann，B。；Kimmig，A。；Kersting，K。；De Raedt，L。；Daelemans，W.（编辑）；Goethals，B.（编辑）；Morik，K.（编辑），《概率数据库中的参数学习：最小二乘法》，第5211、473-488号（2008年），柏林·doi:10.1007/978-3-540-87479-9_49 [17] Gutmann，B.、Kimmig，A.、Kersting，K.和De Raedt，L.（2010年）。根据带注释的查询在ProbLog中进行参数估计。比利时鲁汶大学计算机科学系技术代表CW 583·Zbl 1211.68152号 [18] Jaeger，M。；Geiger，D.（编辑）；Shenoy，P.P.（编辑），关系贝叶斯网络，266-273（1997），圣马特奥 [19] Jaeger，M。；Ghahramani，Z.（编辑），关系贝叶斯网络的参数学习，第227、369-376号（2007），纽约·doi:10.1145/1273496.1273543 [20] Kersting，K。；De Raedt，L。；Rouveirol，C.（编辑）；Sebag，M.（编辑），《将归纳逻辑编程与贝叶斯网络相结合》，第2157118-131号（2001年），柏林·Zbl 1006.68518号 [21] 科勒，D。；Pfeffer，A.，噪声一阶规则的学习概率，1316-1321（1997），圣马特奥 [22] Lauritzen，S.L.（1995）。具有缺失数据的图形关联模型的EM算法。计算统计与数据分析，19（2），191-201·Zbl 0875.62237号 ·doi:10.1016/0167-9473（93）E0056-A [23] Lowd，D。；多明戈斯，P。；Kok，J.N.（编辑）；Koronacki，J.（编辑）；Mántaras，R.L.（编辑）；Matwin，S.（编辑）；Mladenic，D.（编辑）；Skowron，A.（编辑），《马尔可夫逻辑网络的有效权重学习》，第4702200-211号（2007年），柏林 [24] 米尔特，W。；斯特鲁伊夫，J。；Blockeel，H.，《利用贝叶斯网络技术学习基础CP逻辑理论》（2007年） [25] Meert，W.、Struyf，J.和Blockel，H.（2008）。利用贝叶斯网络学习技术学习基础CP-Logic理论。信息基础，89（1），131-160·Zbl 1155.68493号 [26] Meert，W。；斯特鲁伊夫，J。；Blockeel，H。；Raedt，L.（编辑），CP-逻辑理论推理与上下文变量消除以及与基于bdd的推理方法的比较，第5989号，96-109（2010），柏林·Zbl 1286.68421号 [27] 米哈尔科娃，L。；穆尼，R.J。；Ghahramani，Z.（编辑），马尔可夫逻辑网络结构的自底向上学习，第227、625-632号（2007），纽约·doi:10.1145/1273496.1273575 [28] 麻格尔顿，S。；Matwin，S.（编辑）；Sammut，C.（编辑），随机逻辑程序的学习结构和参数，第2583号，198-206（2002），柏林·Zbl 1017.68098号 [29] Muggleton，S.和De Raedt，L.（1994）。归纳逻辑程序设计：理论和方法。逻辑编程杂志，19/20629-679·Zbl 0816.68043号 ·doi:10.1016/0743-1066（94）90035-3 [30] Natarajan，S。；Tadepalli，P。；阿尔滕多夫，E。；Dietterich，T.G。；弗恩，A。；Restificar，A。；Raedt，L.D.（编辑）；Wrobel，S.（ed.），《使用组合规则学习一阶概率模型》，第119号，609-616（2005），纽约·数字对象标识代码：10.1145/102351.1102428 [31] 珀尔，J（1988）。智能系统中的概率推理：似是而非推理网络。圣马特奥：摩根·考夫曼·Zbl 0746.68089号 [32] Poole，D.（1997）。独立选择逻辑用于在不确定性下建模多个代理。人工智能，94（1-2），7-56·Zbl 0902.03017号 ·doi:10.1016/S0004-3702（97）00027-1 [33] Richardson，M.和Domingos，P.（2006年）。马尔可夫逻辑网络。机器学习，62（1-2），107-136·Zbl 1470.68221号 ·doi:10.1007/s10994-006-5833-1 [34] Riguzzi，F。；Camacho，R.（编辑）；King，R.D.（编辑）；Srinivasan，A.（编辑），带注释析取的学习逻辑程序，第4455号，270-287（2004），柏林·兹比尔1105.68394 [35] Riguzzi，F。；Muggleton，S.（编辑）；Otero，R.P.（编辑）；Tamaddoni-Nezhad，A.（编辑），ALLPAD：带注释析取的逻辑程序近似学习，第4455、43-45号（2007），柏林 [36] Riguzzi，F。；Basili，R.（编辑）；Pazienza，M.T.（编辑），LPAD和CP-Logic的自顶向下解释器，第4733号，第109-120页（2007），柏林 [37] Riguzzi，F.（2008a）。ALLPAD：带注释析取的逻辑程序的近似学习。机器学习，70（2-3），207-223·Zbl 1470.68163号 ·doi:10.1007/s10994-007-5032-8 [38] Riguzzi，F。；Garcia de la Banda，M.（编辑）；Pontelli，E.（编辑），《在基础完备的语义下用带注释析取的逻辑程序进行推理》，第5366、667-771号（2008），柏林·Zbl 1185.68178号 [39] Riguzzi，F.（2010年）。带注释析取的逻辑程序推理的SLGAD解析。基础信息学，102（3-4），429-466·Zbl 1220.68040号 [40] Riguzzi，F.和Di Mauro，N.（2010）《信息瓶颈在LPAD学习中的应用》。技术代表CS-2010-01，意大利费拉拉大学英格涅里亚研究生院。http://www.ing.unife.it/docenti/FabrizioRiguzzi/Papers/RigdiM10-TR-CS-2010-01.pdf。 ·Zbl 1222.68190号 [41] Riguzzi，F。；斯威夫特，T。；Hermenegildo，M.V.（编辑）；Schaub，T.（编辑），《带注释析取逻辑程序推理的表格和答案包容》，第7期，162-171（2010），达格斯图尔·Zbl 1237.68049号 [42] Rose，K.（2002年）。用于聚类、压缩、分类、回归和相关优化问题的确定性退火。IEEE会议录，86（11），2210-2239·数字对象标识代码：10.1109/5.726788 [43] 佐藤，T。；Sterling，L.（ed.），《分布语义逻辑程序的统计学习方法》，715-729（1995），剑桥 [44] Sato，T.和Kameya，Y.（2001年）。符号统计建模逻辑程序的参数学习。《人工智能研究杂志》，第15期，第391-454页·Zbl 0994.68025号 [45] Sato，T.、Kameya，Y.和Zhou，N.F.（2005）。棱镜失效的生成建模。L.P.Kaelbling，A.Saffiotti（编辑），《第19届国际人工智能联合会议论文集》（第847-852页），专业图书中心。 [46] Singla，P。；多明戈斯，P。；Veloso，M.M.（编辑）；Kambhampati，S.（编辑），马尔可夫逻辑网络的判别训练，868-873（2005），Menlo Park [47] 辛格拉，P。；Domingos，P.，《马尔可夫逻辑实体解析》，572-582（2006），洛斯阿拉米托斯 [48] 蒂什比，N。；佩雷拉，F。；Bialek，W.，《信息瓶颈方法》，368-377（1999） [49] Van Gelder，A.、Ross，K.A.和Schlipf，J.S.（1991年）。通用逻辑程序的基础良好的语义。美国医学会杂志，38（3），620-650·兹比尔0799.68045 [50] Vennekens，J.和Verbaeten，S.（2003）。带注释析取的逻辑程序。比利时鲁汶大学计算机科学系技术代表CW386·Zbl 1104.68391号 [51] Vennekens，J。；Verbaeten，S。；Bruynooghe，M。；Demoen，B.（编辑）；Lifschitz，V.（编辑），带注释析取的逻辑程序，第3131号，195-209（2004），柏林 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。