蒂塔拉吉·达什；阿什温·斯里尼瓦桑；维格，洛克什 将符号域知识纳入图形神经网络。 （英语） Zbl 07465651号 机器。学习。 110，第7期，1609-1636（2021）. 总结：我们的兴趣在于具有以下特征的科学问题：（1）数据自然地表示为图形；（2） 可用数据量通常很小；以及（3）存在重要的领域知识，通常以某种符号形式（规则、分类法、约束等）表示。过去，通过归纳逻辑编程（ILP）等符号机器学习方法，这些问题已经得到了有效解决，因为它具有两个重要特征：（a）使用一种表示语言，可以轻松捕获图形结构数据中编码的关系，以及（b）包含编码为特定域关系的先前信息，可以缓解数据稀缺的问题，并构建新的关系。近年来，出现了专门为图形结构数据开发的深层神经网络（graph-based neural networks，简称GNN）。虽然GNN已被证明能够处理图形结构的数据，但很少有人研究领域知识的包含。在这里，我们通过使用我们称之为的操作，对GNN的这一方面进行了实证研究顶点富集并将相应的GNN表示为VEGNN公司s.使用70多个真实世界数据集和大量符号域知识，我们检查了5种不同GNN变体的顶点富集结果。我们的结果支持了以下几点：（a）通过顶点富集包含领域知识可以显著提高GNN的性能。也就是说VEGNN公司s明显优于GNN（全球导航号码）所有GNN变体的s；（b） 包含使用ILP构建的特定于域的关系可以提高VEGNN公司所有GNN变体。综上所述，这些结果提供了证据，证明将符号域知识纳入GNN是可能的，并且ILP在提供GNN不容易发现的高层关系方面可以发挥重要作用。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 软件：PyTorch公司；阿勒夫；亚当 PDF格式BibTeX公司 XML格式引用 \textit｛T.Dash｝等人，马赫。学习。110，第7号，1609--1636（2021；Zbl 07465651） 全文： DOI程序 arXiv公司 参考文献： [1] 爱沙尼亚州阿尔方斯。(2004). 在归纳逻辑编程中重温了宏运算符。在国际归纳逻辑编程会议上。第8-25页。施普林格·Zbl 1105.68361号 [2] 安藤，HY；Dehaspe，L。；卢伊滕，W。；Van Craenenbroeck，E。；范德卡斯特尔，H。；Van Meervelt，L.，用归纳逻辑编程发现晶体中的氢键规则，分子药剂学，3，6，665-674（2006）·doi:10.1021/mp060034z [3] Barceló，P.、Kostylev，E.V.、Monet，M.、Pérez，J.、Reutter，J.和Silva，J.P.（2020年）。图神经网络的逻辑表达能力。在学习代表国际会议上，https://openreview.net/forum？id=r1lZ7AEKvB [4] 巴斯金，II；弗吉尼亚州帕柳林；Zefirov，NS，《用于搜索化合物结构和性质之间直接相关性的神经装置》，《化学信息与计算机科学杂志》，37，4，715-721（1997）·doi:10.1021/ci940128y [5] Besold，T.R.、Garcez，A.d.、Bader，S.、Bowman，H.、Domingos，P.、Hitzler，P.，Kühnberger，K.U.、Lamb，L.C.、Lowd，d.和Lima，P.M.V.等人（2017年）。神经符号学习和推理：一项调查和解释。arXiv预打印arXiv:1711.03902 [6] Bianchi，F.M.、Grattarola，D.、Alippi，C.和Livi，L.（2019年）。带卷积arma滤波器的图形神经网络。arXiv预打印arXiv:1901.01343 [7] Cangea，C.，Velićković，P.，Jovanović，N.，Kipf，T.，&Lió，P..（2018年）。面向稀疏层次图分类器。arXiv预印本arXiv:11811.01287 [8] Castillo，L.P.和Wrobel，S.（2002年）。多关系学习中的宏运算符：一种搜索空间缩减技术。在欧洲机器学习会议上。第357-368页。施普林格·Zbl 1014.68132号 [9] 崔，P。；王，X。；裴，J。；朱伟，网络嵌入调查，IEEE知识与数据工程汇刊，31，5，833-852（2018）·doi:10.1109/TKDE.2018年2849727 [10] d’Avila Garcez，AS公司；Zaverucha，G.，《联结主义归纳学习和逻辑编程系统》，应用。智力。，11, 1, 59-77 (1999) ·doi:10.1023/A:1008328630915 [11] Dash，T.、Srinivasan，A.、Vig，L.、Orhobor，O.I.和King，R.D.（2018年）。深层关系机器的大规模评估。在国际归纳逻辑编程会议上。第22-37页。施普林格 [12] Dash，T.、Srinivasan，A.、Joshi，R.S.和Baskar，A.（2019年）。离散随机搜索及其在深关系机器特征选择中的应用。在国际人工神经网络会议上。第29-45页。施普林格 [13] De Raedt，L.、Manhaeve，R.、Dumancic，S.、Demeester，T.和Kimmig，A.（2019年）。神经符号=神经+逻辑+概率。在第14届神经符号学习与推理国际研讨会NeSy'19@IJCAI上。第1-4页 [14] 丁·B、王·Q、王·B和郭·L（2018）。使用简单约束改进知识图嵌入。计算语言学协会第56届年会论文集（第1卷：长篇论文）。第110-121页。澳大利亚墨尔本计算语言学协会，https://www.aclweb.org/antology/P18-2011 [15] Faruquie，T.A.、Srinivasan，A.和King，R.D.（2012年）。药物设计中具有相关特征的主题模型。在归纳逻辑编程国际会议上。第45-57页。斯普林格。 [16] Feng，Y。；你，H。；张，Z。；吉·R。；Gao，Y.，Hypergraph神经网络，AAAI人工智能会议论文集。，33, 3558-3565 (2019) ·doi:10.1609/aaai.v33i01.33013558 [17] Fey，M.和Lenssen，J.E.（2019年）。使用PyTorch Geometric进行快速图形表示学习。在ICLR关于图和流形的表示学习研讨会上 [18] 弗朗索阿，M.V。；Zaverucha，G。；Garcez，A.S.d，使用人工神经网络的底子句命题化进行快速关系学习，机器学习，94，1，81-104（2014）·doi:10.1007/s10994-013-5392-1 [19] França，M.V.M.、Zaverucha，G.和Garcez，a.S.d.（2015）。通过底子句的半命题化进行神经关系学习。2015年AAAI春季研讨会系列 [20] França，M.V.M.、d'Avila Garcez，a.S.和Zaverucha，G.（2015）。从神经网络中提取关系知识。2015年12月11日至12日，加拿大蒙特利尔，与第29届神经信息处理系统年会（NIPS 2015）合办的《NIPS认知计算研讨会：集成神经和符号方法》会议记录·Zbl 1281.68180号 [21] 高尔，M。；Kursuncu，美国。；Wickramarachchi，R.，《加强深度学习的知识融合学习阴影》，IEEE互联网计算，23，6，54-63（2019）·doi:10.1109/MIC.2019.2960071 [22] Gori，M.、Monfardini，G.和Scarselli，F.（2005）。一种新的图域学习模型。诉讼中。2005年IEEE神经网络国际联合会议，2005年。第2卷，第729-734页，第2卷 [23] Hamilton，W.、Ying，Z.和Leskovec，J.（2017）。大型图的归纳表示学习。神经信息处理系统进展。第1024-1034页 [24] Jiang，J.，Wei，Y.，Feng，Y.、Cao，J.和Gao，Y.（2019年）。动态超图神经网络。第二十八届国际人工智能联合会议（IJCAI）会议记录。第2635-2641页 [25] Joshi，S.、Ramakrishnan，G.和Srinivasan，A.（2008）。使用理论指导采样和随机搜索构建特征。在国际归纳逻辑编程会议上。第140-157页。施普林格 [26] Kingma，D.P.和Ba，J.（2014）。亚当：一种随机优化方法。arXiv预打印arXiv:1412.6980 [27] 金，RD；麻格尔顿，SH；Srinivasan，A。；Sternberg，M.，《由机器学习导出的结构-活性关系：利用原子及其键连接性通过诱导逻辑编程预测诱变性》，《美国国家科学院院刊》，93，1438-442（1996）·doi:10.1073/pnas.93.1.438 [28] 金，RD；惠兰，KE；琼斯，FM；雷瑟，PG；Bryant，CH；麻格尔顿，SH；Kell，数据库；奥利弗，SG，机器人科学家的功能基因组假设生成和实验，《自然》，4276971247-252（2004）·doi:10.1038/nature02236 [29] Kipf，T.N.和Welling，M.（2017年）。图卷积网络半监督分类。2017年4月24日至26日，在法国土伦举行的2017年ICLR第五届国际学习代表大会上，会议记录 [30] Kramer，S.、Lavrać，N.和Flach，P.（2001）。关系数据挖掘的命题方法。《关系数据挖掘》，第262-291页。施普林格·Zbl 1003.68039号 [31] Krogel，M.，A.，Rawles，S.，Zha-eleznỳ, F.、Flach，P.A.、Lavrać，N.和Wrobel，S.（2003）。命题化方法的比较评价。在国际归纳逻辑编程会议上。第197-214页。施普林格 [32] Kursuncu，U.、Gaur，M.和Sheth，A.（2019年）。知识注入学习（k-il）：在深度学习中实现知识的深度融合。arXiv预打印arXiv:1912.00512 [33] Lavrać，N.、Díeroski，S.和Grobelnik，M.（1991年）。学习与莱纳斯关系的非递归定义。在欧洲学习工作会议上。第265-281页。施普林格 [34] Lee，J.、Lee，I.和Kang，J.（2019年）。自我关注图形池。在机器学习国际会议上。第3734-3743页 [35] Lodhi，H.（2013）。深层关系机器。在神经信息处理国际会议上。第212-219页。施普林格 [36] 马克思，KA；O’Neil，P。；霍夫曼，P。；Ujwal，M.，《nci癌细胞系化合物gi50值的数据挖掘：识别对抗黑色素瘤和白血病细胞类别有效的醌亚型》，《化学信息与计算机科学杂志》，43，5，1652-1667（2003）·doi:10.1021/ci034050+ [37] 麦诺特，AD；Wilkinson，A.，《化学术语简编》（1997），牛津：布莱克威尔科学出版社，牛津 [38] 莫里斯，C。；Ritzert，M。；费伊，M。；汉密尔顿，WL；Lenssen，JE；藤条，G。；Grohe，M.，Weisfeiler和leman go neural:高阶图形神经网络，AAAI人工智能会议论文集。，33, 4602-4609 (2019) ·doi:10.1609/aaai.v33i01.33014602 [39] Muggleton，S.，《逆蕴涵与程序》，新一代计算，13，3-4，245-286（1995）·doi:10.1007/BF03037227 [40] 麻格尔顿，S。；De Raedt，L。；普尔，D。；I.布拉特科。；弗拉奇，P。；井上，K。；Srinivasan，A.，Ilp满20岁，机器学习，86，1，3-23（2012）·Zbl 1243.68014号 ·doi:10.1007/s10994-011-5259-2 [41] Paszke，A.、Gross，S.、Massa，F.、Lerer，A.、Bradbury，J.、Chanan，G.、Killeen，T.、Lin，Z.、Gimelshein，N.和Antiga，L.等人（2019年）。Pytorch：一个命令式、高性能的深度学习库。神经信息处理系统进展。第8024-8035页 [42] Plotkin，G.（1971）。归纳推理的自动方法。爱丁堡大学博士论文 [43] Prechelt，L.（1998）。提前停止——但什么时候？在《神经网络：贸易的诡计》中，第55-69页。施普林格 [44] Ralaivola，L。；斯旺达斯，SJ；Saigo，H。；Baldi，P.，《化学信息学的图形核》，神经网络，18，8，1093-1110（2005）·doi:10.1016/j.neunet.2005.07.009 [45] Ramakrishnan，G.、Joshi，S.、Balakrishna，S.和Srinivasan，A.（2007）使用ilp构建特征以从半结构化文本中提取信息。在国际归纳逻辑编程会议上。第211-224页。施普林格·Zbl 1136.68501号 [46] Saha，A.、Srinivasan，A.和Ramakrishnan，G.（2012年）。什么样的关系特征对统计学习有用？在国际归纳逻辑编程会议上。第209-224页。施普林格·Zbl 1382.68203号 [47] Sato，R.（2020年）。图形神经网络表达能力综述。arXiv预打印arXiv:2003.04078 [48] 斯卡塞利，F。；戈里，M。；佐伊，AC；Hagenbuchner，M。；Monfardini，G.，图神经网络模型，IEEE神经网络汇刊，20，1，61-80（2008）·doi:10.1109/TNN.2008.2005605 [49] Sperduti，A。；Starita，A.，结构分类用监督神经网络，IEEE神经网络汇刊，8，3，714-735（1997）·doi:10.1109/72.572108 [50] Srinivasan，A.（2001）。aleph手册。https://www.cs.ox.ac.uk/activities/programinduction/Aleph/Aleph.html [51] Srinivasan，A。；King，RD，《用归纳逻辑编程进行特征构建：结构属性辅助生物活性定量预测的研究》，《数据挖掘与知识发现》，3，1，37-57（1999）·doi:10.1023/A:1009815821645 [52] Stevens，R.、Taylor，V.、Nichols，J.、Maccabe，A.B.、Yelick，K.和Brown，D.（2020年）。爱科学。技术代表，美国伊利诺伊州阿贡市阿贡国家实验室（ANL）。 [53] Van Craenenbroeck，E.、Vandecasteele，H.和Dehaspe，L.（2002）。Dmax的功能组和环库。https://dtai.cs.kuleuven.be/software/dmax网站/ [54] Velic̆ković，P.、Cucurull，G.、Casanova，A.、Romero，A.、Lió，P.和Bengio，Y.（2018年）。绘制注意力网络图。在学习代表国际会议上，https://openreview.net/论坛？id=rJXMpikCZ [55] Wu，Z.、Pan，S.、Chen，F.、Long，G.、Zhang，C.和Philip，S.Y.（2020年）。图形神经网络综述。IEEE神经网络和学习系统汇刊 [56] Xu，K.、Hu，W.、Leskovec，J.和Jegelka，S.（2019年）。图形神经网络有多强大？在学习代表国际会议上，https://openreview.net/forum？id=ryGs6iA5Km [57] Yadati，N.、Nimishakavi，M.、Yadav，P.、Nitin，V.、Louis，A.和Talukdar，P.（2019年）。Hypergcn：一种在超图上训练图卷积网络的新方法。神经信息处理系统进展。第1509-1520页 [58] Zhang，D.，Yin，J.，Zhu，X.，&Zhang（2018）。网络表征学习：一项调查。IEEE大数据事务 [59] Zhou，D.、Huang，J.和Schölkopf，B.（2007）。超图学习：聚类、分类和嵌入。神经信息处理系统进展。第1601-1608页 [60] 周，J.、崔，G.、张，Z.、杨，C.、刘，Z.，王，L.、李，C.和孙，M.（2018）。图形神经网络：方法和应用综述。arXiv预打印arXiv:1812.08434 [61] Ziegler，K.、Caelen，O.、Garchery，M.、Granizer，M.，He-Guelton，L.、Jurgovsky，J.、Portier，P.E.和Zwicklbauer，S.（2017年）。使用图嵌入将语义背景知识注入神经网络。在2017年IEEE第26届国际会议上，讨论了使能技术：协作企业基础设施（WETICE）。第200-205页。电气与电子工程师协会 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。