×
纳达·拉夫拉奇;Škrlj，布拉泽;Robnik-Šikonja，马尔科

命题和嵌入：同一枚硬币的两面。 （英语） Zbl 1522.68469号

机器。学习。 109，第7期，1465-1507（2020）.
摘要：数据预处理是机器学习管道的重要组成部分，需要充足的时间和资源。预处理的一个组成部分是将数据转换为给定学习算法所需的格式。本文概述了关系学习中使用的一些现代数据处理技术，这些技术能够将不同输入数据类型和格式的数据融合为单表数据表示，重点关注命题化和嵌入数据转换方法。虽然这两种方法都旨在将数据转换为表格数据格式，但它们使用不同的术语和任务定义，被认为是为了实现不同的目标，并在不同的环境中使用。本文提供了一个统一的框架，通过介绍这两种数据转换技术的统一定义，并将这两种方法之间的相似性和差异解释为统一的复杂数据转换任务的变体，从而提高对这两种数据转换技术的理解。除了统一框架之外，本文的新颖之处在于结合命题化和嵌入的统一方法论，这得益于两者在解决复杂数据转换和学习任务方面的优势。我们提出了统一方法的两种有效实现：基于实例的PropDRM方法和基于特征的PropStar数据转换和学习方法，以及它们对几个相关问题的实证评估。结果表明，新算法的性能优于现有的关系型学习器，能够解决更大的问题。

引用于2文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
68N17号 逻辑编程
68立方英尺 知识表示

关键词：

归纳逻辑程序设计;关系学习;命题化;嵌入件;知识图

软件：

阿达·布斯特。MH公司;Scikit公司;RDF2vec公司;数字Py;赛格明;单词2vec;结构2vec;节点2vec;线路;DeepWalk公司;形状;UMAP公司;阿勒夫;私人电话
PDF格式BibTeX公司 XML格式引用
\textit{N.Lavrač}等人，马赫。学习。109，第7号，1465--1507（2020；Zbl 1522.68469）
全文： 内政部 arXiv公司

参考文献：

[1] 艾哈迈德，CF；Lachiche，N。；查尔奈，C。；东南部杰拉利；Braud，A.，关系数据挖掘中连续属性的灵活命题化，应用专家系统，42，21，7698-7709（2015）
[2] Benavoli，A。；Corani，G。；德姆沙尔，J。；Zaffalon，M.，《改变的时间：通过贝叶斯分析比较多个分类器的教程》，《机器学习研究杂志》，18，1，2653-2688（2017）·Zbl 1440.62237号
[3] 贝内特，KP；Buja，A。；弗伦德，WSY；夏皮雷，RE；弗里德曼，J。；哈斯蒂，T。；Tibshirani，R。；PJ Bickel；Ritov，Y。；Bühlmann，P。；Yu，B.，对[52]的回应，《机器学习研究杂志》，9，157-194（2008）
[4] 布莱，DM；Ng，AY；Jordan，MI，潜在的Dirichlet分配，机器学习研究杂志，1993-1022年1月3日（2003）·Zbl 1112.68379号
[5] Blockeel，H.、Raedt，L.D.和Ramon，J.（1998年）。聚类树的自顶向下诱导。第15届机器学习国际会议论文集，第55-63页。摩根·考夫曼。
[6] Bordes，A.、Usunier，N.、Garcia Duran，A.、Weston，J.和Yakhnenko，O.（2013）。转换用于建模多关系数据的嵌入。神经信息处理系统进展，第2787-2795页。
[7] Bordes，A。；格洛洛特，X。；韦斯顿，J。；Bengio，Y.，《用于多关系数据学习的语义匹配能量函数》，机器学习，94，2，233-259（2014）·Zbl 1319.68169号
[8] Breiman，L.，打包预测，机器学习，24，2，123-140（1996）·Zbl 0858.68080号
[9] Breiman，L.，《随机森林，机器学习》，45，1，5-32（2001）·Zbl 1007.68152号
[10] 布雷曼，L。；JH弗里德曼；Olshen，R。；Stone，C.，《分类和回归树》（1984），加利福尼亚州太平洋格罗夫：加利福尼亚州太平洋格罗夫的沃兹沃斯和布鲁克斯·Zbl 0541.62042号
[11] Chang，S.、Han，W.、Tang，J.、Qi，G.J.、Aggarwal，C.C.和Huang，T.S.（2015）。通过深层架构嵌入异构网络。第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第119-128页。ACM公司。
[12] Charnay，C.、Lachiche，N.和Braud，A.（2015）。CARAF：随机森林中的复杂聚集体。2015年8月20日至22日，在日本京都举行的第25届国际归纳逻辑编程会议上，《经修订的论文选集》，第15-29页。斯普林格。
[13] 克拉克·P。；Niblett，T.，CN2归纳算法，机器学习，3，4，261-283（1989）
[14] Clevert，D.A.、Unterthiner，T.和Hochreiter，S.（2016）。通过指数线性单位（ELU）快速准确地进行深度网络学习。在代表性学习国际会议上。arXiv:1511.07289。
[15] Corani，G。；Benavoli，A。；德姆沙尔，J。；Mangili，F。；Zaffalon，M.，《通过贝叶斯层次建模对分类器进行统计比较》，机器学习，106，11，1817-1837（2017）·Zbl 1440.62241号
[16] 科尔特斯，C。；Vapnik，V.，支持向量网络，机器学习，20，3，273-297（1995）·Zbl 0831.68098号
[17] Cumby，C.M.和Roth，D.（2003年）。关于关系学习的核心方法。《第20届机器学习国际会议论文集》（ICML-03），第107-114页。
[18] Dash，T.、Srinivasan，A.、Vig，L.、Orhobor，O.I.和King，R.D.（2018年）。深层关系机器的大规模评估。《归纳逻辑编程国际会议论文集》，第22-37页。柏林施普林格。
[19] Dash，T。；Srinivasan，A。；Joshi，RS；巴斯卡，A。；特科，IV；Kůrková，V。；卡尔波夫，P。；Theis，F.，离散随机搜索及其在深度关系机器特征选择中的应用，人工神经网络和机器学习：ICANN 2019-deep learning，29-45（2019），柏林：斯普林格，柏林
[20] De Raedt，L.，逻辑与关系学习（2008），柏林：施普林格出版社，柏林·Zbl 1203.68145号
[21] 阿拉斯加州德伯纳；Lopez de Compadre，RL公司；Debnath，G。；AJ舒斯特曼；Hansch，C.，诱变芳香族和杂芳香族硝基化合物的构效关系。与分子轨道能量和疏水性的关系，《药物化学杂志》，34,2786-797（1991）
[22] Demeester，T.、Rocktäschel，T.和Riedel，S.（2016）。提升了关系嵌入的规则注入。《2016年自然语言处理实证方法会议记录》，第1389-1399页。
[23] Dumanćić，S.，Guns，T.，Meert，W.，&Blockleel，H.（2018年）。自动编码逻辑程序。在瑞典斯德哥尔摩举行的机器学习国际会议记录中。
[24] Díeroski，S.和Lavrać，N.（编辑）。(2001). 关系数据挖掘。柏林：斯普林格·Zbl 1003.68039号
[25] Flach，P.和Lachiche，N.（1999）。1BC：一阶贝叶斯分类器。在归纳逻辑编程国际会议上，第92-103页。柏林：斯普林格。
[26] 弗拉奇，P。；Lachiche，N.，用Tertius验证引导发现一阶规则，机器学习，42，1-2，61-95（2001）·Zbl 0970.68127号
[27] 弗伦德，Y。；Schapire，RE，《在线学习的决策理论推广及其在助推中的应用》，《计算机与系统科学杂志》，55，1，119-139（1997）·兹伯利0880.68103
[28] JH弗里德曼；Fisher，NI，高维数据中的凹凸搜索，统计与计算，9，2，123-143（1999）
[29] Gärdefors，P.，《概念空间：思维的几何》（2000），马萨诸塞州剑桥：麻省理工学院出版社，马萨诸塞诸塞州坎布里奇
[30] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），剑桥：麻省理工学院出版社，剑桥·Zbl 1373.68009号
[31] 格里卡尔，M。；Trdin，N。；Lavrać，N.，《挖掘富含文档的异构信息网络的方法》，《计算机期刊》，56，3，321-335（2013）
[32] Grover，A.和Leskovec，J.（2016）。node2vec：网络的可扩展特性学习。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第855-864页。
[33] 郭，S.，王，Q.，王，L，王，B.，&郭，L（2016）。联合嵌入知识图和逻辑规则。《2016年自然语言处理实证方法会议论文集》，第192-202页。
[34] Haussler，D.（1999）。离散结构上的卷积核。加利福尼亚大学计算机科学系技术代表。
[35] He，S.、Liu，K.、Ji，G.和Zhao，J.（2015）。学习用高斯嵌入表示知识图。第24届ACM国际信息与知识管理会议记录，第623-632页。ACM公司。
[36] Kralj，J。；Robnik-Šikonja，M。；Lavrać，N.，HINMINE:《利用信息检索启发式进行异构信息网络挖掘》，《智能信息系统杂志》，50，1，29-61（2018）
[37] 克莱默，S。；拉夫拉奇，N。；弗拉奇，P。；季洛斯基，S。；Lavrać，N.，关系数据挖掘的命题方法，关系数据开采，262-291（2001），柏林：施普林格出版社，柏林·Zbl 1003.68039号
[38] Krogel，M.A.和Wrobel，S.（2001年）。使用多关系聚合的基于转换的学习。《归纳逻辑编程国际会议论文集》，第142-155页。柏林：斯普林格·Zbl 1006.68519号
[39] 马萨诸塞州克罗格尔；罗尔斯，S。；elezn，F。；弗拉奇，P。；拉夫拉奇，N。；弗罗贝尔，S。；Horvath，T。；Yamamoto，A.，命题化方法的比较评估，第13届归纳逻辑编程国际会议论文集（ILP-2003，197-214（2003），柏林：施普林格，柏林
[40] Kuíelka，O.，&elezn，F.（2008）。HiFi：通过层次化特征构建的可追踪命题化。在《第18届归纳逻辑程序设计国际会议》，第69-74页。
[41] 俄克拉荷马州库泽尔卡。；ƀeleznƂ，F.，具有单调可约性和冗余性的树状关系特征的分块构造，机器学习，83，2，163-192（2011）·Zbl 1237.68151号
[42] Lachiche，N.和Flach，P.A.（2003年）。1BC2：一个真正的一阶贝叶斯分类器。归纳逻辑编程会议录，第133-148页·Zbl 1017.68522号
[43] Lavrać，N.、Díeroski，S.和Grobelnik，M.（1991年）。学习与LINUS关系的非递归定义。第五届欧洲学习工作会议记录（EWSL-91），第265-281页。葡萄牙波尔图斯普林格。
[44] Lavrač，N.、Kralj Novak，P.、Mozetič，I.、Podpečan，V.、Motaln，H.、Peterk，M.和Gruden，K.（2009年）。语义子组发现：在微阵列数据分析中使用本体。IEEE EMBS第31届国际年会会议记录，第5613-5616页。
[45] 拉夫拉奇，N。；Díeroski，S.，《归纳逻辑编程：技术和应用》（1994），纽约：埃利斯·霍伍德出版社，纽约·Zbl 0830.68027号
[46] 拉夫拉奇，N。；Flach，P.，《归纳逻辑编程的扩展转换方法》，ACM计算逻辑事务，2，4，458-494（2001）·Zbl 1365.68374号
[47] Le，Q.和Mikolov，T.（2014）。句子和文档的分布式表示。《机器学习国际会议论文集》，第1188-1196页。
[48] Lewis，D.D.（1992）。文本分类任务中短语和聚类表示的评估。第15届ACM SIGIR国际信息检索研究与开发会议论文集，第37-50页。
[49] Lodhi，H.（2013）。深层关系机器。《神经信息处理国际会议记录》，第212-219页。柏林：斯普林格。
[50] Lundberg，S.M.和Lee，S.I.（2017年）。解释模型预测的统一方法。在Guyon，I.、Luxburg，U.V.、Bengio，S.、Wallach，H.、Fergus，R.、Vishwanathan，S.和Garnett，R.（编辑）《神经信息处理系统的进展》，第4765-4774页。
[51] 麦金尼斯。；希利，J。；Saul，N。；Grossberger，L.，UMAP：统一流形近似和投影，《开源软件杂志》，3，29，861（2018）
[52] 米斯，D。；Wyner，A.，《与提升统计观点相反的证据》，《机器学习研究杂志》，第9期，第131-156页（2008年）
[53] Michalski，R.S.、Mozetić，I.、Hong，J.和Lavrać，N.（1986年）。多用途增量学习系统AQ15及其在三个医学领域的测试应用。第五届全国人工智能会议论文集，第1041-1045页。宾夕法尼亚州费城。
[54] Michie，D.、Muggleton，S.、Page，D.和Srinivasan，A.（1994年）。对国际计算界来说：一个新的东西方挑战。英国牛津大学计算实验室技术代表。
[55] Mikolov，T。；Sutskever，I。；Chen，K。；Corrado，GS；迪安·J。；博格斯，CJC；博图，L。；韦林，M。；加赫拉马尼，Z。；Weinberger，KQ，单词和短语的分布式表示及其合成性，神经信息处理系统的进展2633111-3119（2013），美国纽约：Curran Associates Inc，美国纽约
[56] Motl，J.和Schulte，O.（2015）。布拉格反恐组关系学习库。arXiv:1511.03086。
[57] Muggleton，S.H.（编辑）。(1992). 归纳逻辑编程。伦敦：学术出版社·Zbl 0838.68093号
[58] Muggleton，S.，《逆蕴涵与程序》，新一代计算，13，3-4，245-286（1995）
[59] Nickel，M.和Kiela，D.（2017年）。用于学习层次表示的Poincaré嵌入。《神经信息处理系统进展》，第6338-6347页。
[60] 镍，M。；Tresp，V。；HP Kriegel，《多关系数据集体学习的三向模型》，《机器学习国际会议论文集》，第11期，第809-816页（2011年）
[61] 佩德雷戈萨，F。；瓦罗佐，G。；Gramfort，A。；米歇尔，V。；蒂里昂，B。；O.格栅。；布隆德尔，M。；普雷滕霍弗，P。；韦斯，R。；Dubourg，V.，Scikit-learn:机器学习在python中的应用，《机器学习研究杂志》，2011年10月12日，第2825-2830页·Zbl 1280.68189号
[62] Perovšek，M.、Vavpetić，A.、Cestnik，B.和Lavrać，N.（2013年）。关系数据挖掘的文字化方法。《发现科学国际会议论文集》，第141-154页。柏林：斯普林格。
[63] 佩罗夫舍克，M。；瓦夫佩蒂奇，A。；Kranjc，J.等人。；塞斯特尼克，B。；Lavrać，N.，Wordification:通过将关系数据展开成词袋进行命题，Expert Systems with Applications，42，17-18，6442-6456（2015）
[64] Perozzi，B.、Al-Rfou，R.和Skiena，S.（2014）。Deepwalk：社交表征的在线学习。《第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集》，第701-710页。ACM公司。
[65] Plantié，M。；克朗佩斯，M。；Ramzan，N。；Zwol，R。；李，JS；Clüver，K。；Hua，XS，《社交社区检测调查》，社交媒体检索，65-85（2013），伦敦：施普林格出版社，伦敦
[66] 波德潘，V。；拉夫拉奇，N。；莫泽蒂奇，I。；Kralj Novak，P。；特拉伊科夫斯基，I。；Langohr，L。；Kulovesi，K。；香薰酮，H。；Petek，M。；Motaln，H。；Gruden，K.，Orange4WS中语义微阵列数据分析的SegMine工作流，BMC生物信息学，12416（2011）
[67] 邱，J.、董，Y.、马，H.、李，J.，王，K.和唐，J.（2018）。网络嵌入作为矩阵分解：Unifying DeepWalk、LINE、PTE和Node2Vec。《第十一届ACM网络搜索和数据挖掘国际会议论文集》，WSDM’18，第459-467页。ACM公司。
[68] 昆兰，JR，决策树归纳，机器学习，1，1，81-106（1986）
[69] Ribeiro，L.F.、Saverese，P.H.和Figueiredo，D.R.（2017）。Struc2vec：从结构标识学习节点表示。第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’17，第385-394页。纽约：ACM。
[70] Ribeiro，M.T.、Singh，S.和Guestrin，C.（2016）。我为什么要相信你解释任何分类器的预测。第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第1135-1144页。ACM公司。
[71] 里斯托斯基，P。；Paulheim，H。；格罗斯，P。；Simperl，E。；格雷，A。；萨布，M。；Krötzsch，M。；Lecue，F。；弗洛克，F。；Gil，Y.，Rdf2vec:数据挖掘的Rdf图嵌入，语义网：ISWC 2016，498-514（2016），Cham:Springer，Cham
[72] Robnik-Šikonja，M。；Kononenko，I.，《解释单个实例的分类》，IEEE知识与数据工程汇刊，20，5，589-600（2008）
[73] Rocktäschel，T.、Singh，S.和Riedel，S.（2015）。将逻辑背景知识注入到用于关系提取的嵌入中。《计算语言学协会北美分会2015年会议记录：人类语言技术》，第1119-1129页。
[74] Rumelhart，D.E.和McClelland，J.L.（编辑）（1986年）。并行分布式处理：认知微观结构的探索，第1卷：基础。麻省理工学院出版社，马萨诸塞州剑桥。
[75] Rumelhart，DE；通用电气公司Hinton；威廉姆斯，RJ，通过反向传播错误学习表征，《自然》，3236088533（1986）·Zbl 1369.68284号
[76] 沙佩尔，RE；弗伦德，Y。；Bartlett，P。；Lee，WS，《提高利润率：投票方法有效性的新解释》，《统计年鉴》，第26期，第5期，第1651-1686页（1998年）·Zbl 0929.62069号
[77] Schölkopf，B。；Smola，AJ，《使用内核学习：支持向量机、正则化、优化和超越》（2001），剑桥：麻省理工学院出版社，剑桥
[78] Škrlj，B.、Kralj，J.、Konc，J.，Robnik-Šikonja，M.和Lavrać，N.（2019年）。深度节点排名：一种用于结构化网络嵌入和端到端分类的算法。arXiv:1902.03964。
[79] Srinivasan，A.（2007）。Aleph手册。http://www.cs.ox.ac.uk/activities/machinelearning/Aleph/。
[80] Srinivasan，A.、King，R.D.、Muggleton，S.和Sternberg，M.J.（1997年）。使用ILP预测致癌。《归纳逻辑编程国际会议论文集》，第273-287页。柏林：斯普林格。
[81] Srinivasan，A。；维格·L。；Bain，M.，使用相关信息对深层关系机器的逻辑解释，机器学习研究杂志，20，130，1-47（2019）·Zbl 1434.68559号
[82] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhutdinov，R.，《辍学：防止神经网络过度拟合的简单方法》，《机器学习研究杂志》，1929-1958年，第15期，第1期（2014年）·兹比尔1318.68153
[83] Štrumbelj，E。；Kononenko，I.，《利用特征贡献解释预测模型和个人预测》，《知识与信息系统》，第41、3、647-665页（2014年）
[84] Tang，J.，Qu，M.，&Mei，Q.（2015a）。PTE：通过大规模异构文本网络嵌入预测文本。第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第1165-1174页。ACM公司。
[85] 唐J.、曲M.、王M.、张M.、严J.和梅Q.（2015b）。LINE：大规模信息网络嵌入。第24届万维网国际会议记录，第1067-1077页。
[86] Van Der Walt，S。；科尔伯特，SC；Varoquaux，G.，《NumPy数组：高效数值计算的结构》，《科学与工程计算》，第13、2、22页（2011年）
[87] Vapnik，V.，《统计学习理论的本质》（1995），纽约：斯普林格出版社，纽约·Zbl 0833.62008号
[88] Vavpetić，A.和Lavrać，N.（2011年）。语义数据挖掘系统g-SEGS。《规划学习和面向服务的知识发现研讨会论文集》（PlanSoKD-11），ECML PKDD会议，第17-29页。
[89] Wang，Q.，Wang，B.，&Guo，L.（2015）。使用嵌入和规则完成知识库。第24届国际人工智能联合会议记录，第1859-1865页。
[90] Wang，Z.、Zhang，J.、Feng，J.和Chen，Z.（2014）。知识图文联合嵌入。《2014年自然语言处理经验方法会议论文集》（EMNLP），第1591-1601页。
[91] 王，Q。；毛泽东。；王，B。；Guo，L.，《知识图嵌入：方法和应用调查》，IEEE知识与数据工程汇刊，29，12，2724-2743（2017）
[92] Wu，L.Y.、Fisch，A.、Chopra，S.、Adams，K.、Bordes，A.和Weston，J.（2018）。星空：嵌入所有东西！《第32届AAAI人工智能会议记录》，第5569-5577页。
[93] elezn，F。；Lavrać，N.，基于命题的关系子组发现与RSD，机器学习，62，33-63（2006）·Zbl 1470.68209号
[94] Zhu，S.、Bing，J.、Min，X.、Lin，C.和Zeng，X.（2018）。使用metatah2vec预测药物-基因相互作用。遗传学前沿，9。
[95] Zhi itnik，M。；Leskovec，J.，通过多层组织网络预测多细胞功能，生物信息学，33，14，i190-i198（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。