古斯塔夫·苏雷克;Zhi elezn，Filip先生;库泽·埃尔卡，Ondřej 超越图神经网络和提升关系神经网络。 （英语） Zbl 1515.68279号 机器。学习。 110，第7期，1695-1738（2021）. 摘要：我们介绍了一个基于提升关系神经网络语言的声明性可微编程框架，其中使用小型参数化逻辑程序通过底层对称性对深层关系学习场景进行编码。当用关系数据（如各种形式的图）表示时，逻辑程序解释器动态展开可微计算图，以通过标准方法用于程序参数优化。继基于关系逻辑的声明性编码之后，这导致以紧凑优雅的学习程序的形式统一表示各种神经模型，而现有的过程方法直接在计算图形级别上操作。我们将说明如何将此思想用于现有高级神经架构的简明编码，主要关注图形神经网络（GNN）。重要的是，使用该框架，我们还展示了如何以各种方式轻松地将当代GNN模型扩展到更高的表现力。在实验中，我们通过与专用GNN框架的比较来证明正确性和计算效率，同时也对现有GNN模型的学习性能有了一些了解。 引用于2文件 MSC公司： 68T07型 人工神经网络与深度学习 68N17号 逻辑编程 关键词：图形神经网络;提升关系神经网络;对称;数据日志;可微程序设计;关系学习;分子分类 软件：DeepProbLog（深度探测日志）;探测日志;TensorLog公司;千ProbLog;metatah2vec;HIN2Vec公司;张紧器2传感器;NLProlog（NL序言）;PyTorch公司;戴纳;DyNet（动态网络）;DGL公司;gl2vec公司 PDF格式BibTeX公司 XML格式引用 \textit{G.Šourek}等人，马赫。学习。110，第7号，1695-1738（2021；Zbl 1515.68279） 全文： 内政部 arXiv公司 参考文献： [1] Aschenbrenner，V.（2013）。使用谓词发明进行深层关系学习。布拉格捷克技术大学硕士论文。 [2] Bader，S.和Hitzler，P.（2005）。神经-符号整合的维度——结构化调查。arXiv预打印。 [3] Bancilhon，F.、Maier，D.、Sagiv，Y.和Ullman，J.D.（1985）。魔术集和其他实现逻辑程序的奇怪方法。第五届ACM SIGACT-SIGMOD数据库系统原理研讨会论文集（第1-15页）。 [4] Bengio，Y.、Lodi，A.和Prouvost，A.（2020年）。组合优化的机器学习：方法论之旅。欧洲运筹学杂志·Zbl 1487.90541号 [5] Bistarelli，S.、Martinelli，F.和Santini，F..（2008年）。加权数据日志和信任级别。2008年，第三届可用性国际会议（第1128-1134页）。IEEE：可靠性和安全性。 [6] Botta，M.、Giordana，A.和Piola，R.（1997）。将一阶逻辑与联结主义学习相结合。第14届机器学习国际会议论文集。 [7] Bratko，I.，Prolog programming for artificial intelligence（2001），纽约：培生教育，纽约·Zbl 0599.68007号 [8] Cameron，C.、Chen，R.、Hartford，J.S.和Leyton Brown，K.（2020）。通过端到端学习预测命题可满足性。AAAI（第3324-3331页）。 [9] Chen，Z.、Li，X.和Bruna，J.（2017）。用线图神经网络进行监督社区检测。arXiv预打印arXiv:170508415。 [10] Cohen，W.W.（2016）。Tensorlog：一个可微分的演绎数据库。arXiv预打印arXiv:160506523。 [11] De Raedt，L.、Dumanć，S.、Manhaeve，R.和Marra，G.（2020年）。从统计关系到神经符号人工智能。arXiv预打印arXiv:200308316。 [12] De Raedt，L。；Kimmig，A。；Toivonen，H.，Problog:概率序言及其在链路发现中的应用，海得拉巴Ijcai，72462-2467（2007） [13] Diligenti，M。；戈里，M。；Sacca，C.，《基于语义的学习和推理正则化》，《人工智能》，244143-165（2017）·兹比尔1404.68100 ·doi:10.1016/j.artint.2015.08.011 [14] 丁磊、李亚德（1995）。神经序言——概念、结构和机制。1995年IEEE系统、人与控制论国际会议。《面向21世纪的智能系统》（第3603-3608页），第4卷，IEEE。 [15] Dong，H.、Mao，J.、Lin，T.、Wang，C.、Li，L.和Zhou，D.（2019年）。神经逻辑机。arXiv预印arXiv:190411694。 [16] Dong，X.、Gabrilovich，E.、Heitz，G.、Horn，W.、Lao，N.、Murphy，K.、Strohmann，T.、Sun，S.和Zhang，W.（2014）。知识库：一种网络规模的概率知识融合方法。第20届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第601-610页）。 [17] Dong，Y.、Chawla，N.V.和Swami，A.（2017）。metapath2vec：异构网络的可伸缩表示学习。第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集（第135-144页）。 [18] Dwivedi，V.P.、Joshi，C.K.、Laurent，T.、Bengio，Y.和Bresson，X.（2020年）。基准图神经网络。arXiv预打印arXiv:200300982。 [19] Eisner，J.和Filardo，N.W.（2010年）。Dyna：为现代人工智能扩展数据日志。在国际数据日志2.0研讨会上。施普林格（第181-220页）。 [20] 埃文斯，R。；Grefenstette，E.，《从噪声数据中学习解释规则》，《人工智能研究杂志》，61,1-64（2018）·Zbl 1426.68235号 ·数字对象标识代码：10.1613/jair.5714 [21] Evans，R.、Saxton，D.、Amos，D.、Kohli，P.和Grefenstette，E.（2018）。神经网络能理解逻辑蕴涵吗？arXiv预打印arXiv:180208535。 [22] Fadja，A.N.、Lamma，E.和Riguzzi，F.（2017年）。深度概率逻辑编程。收录于：Plp@Ilp（第3-14页）。 [23] Feng，Y。；你，H。；张，Z。；吉·R。；Gao，Y.，超图神经网络，AAAI人工智能会议论文集，333558-3565（2019）·doi:10.1609/aaai.v33i01.33013558 [24] Fey，M.和Lenssen，J.E.（2019年）。使用pytorch几何进行快速图形表示学习。arXiv预打印arXiv:190302428。 [25] Fu，T.Y.，Lee，W.C.，&Lei，Z.（2017）。Hin2vec：探索异构信息网络中用于表征学习的元路径。2017年ACM信息和知识管理会议记录（第1797-1806页）。 [26] Gallaire，H.、Minker，J.和Nicolas，J.M.（1989年）。逻辑和数据库：演绎方法。《人工智能和数据库读物》（第231-247页）·Zbl 0548.68098号 [27] Garcez，A。；戈里，M。；Lamb，L。；塞拉菲尼，L。；Spranger，M。；Tran，S.，《神经符号计算：机器学习和推理原则集成的有效方法》，《应用逻辑杂志》，6，4，611-631（2019）·Zbl 07594179号 [28] 美国广告标准局Garcez；Zaverucha，G.，《联结主义归纳学习和逻辑编程系统》，应用智能，11，1，59-77（1999）·doi:10.1023/A:1008328630915 [29] Getoor，L.和Taskar，B.（2007年）。统计关系学习导论·Zbl 1141.68054号 [30] Gilmer，J.、Schoenholz，S.S.、Riley，P.F.、Vinyals，O.和Dahl，G.E.（2017）。量子化学的神经信息传递。第34届机器学习国际会议论文集——第70卷JMLR。org（第1263-1272页）。 [31] Gloot，X.和Bengio，Y.（2010年）。了解训练深度前馈神经网络的困难。第十三届人工智能与统计国际会议论文集（第249-256页）。 [32] Gong，L.，&Cheng，Q.（2019年）。为图形神经网络开发边缘特征。IEEE计算机视觉和模式识别会议记录（第9211-9219页）。 [33] Graves，A.、Wayne，G.和Danihelka，I.（2014）。神经转向机。arXiv预打印arXiv:14105401。 [34] 格雷夫斯，A。；Wayne，G。；雷诺兹，M。；哈雷，T。；Danihelka，I。；格拉布斯卡·巴文斯卡，A。；科尔梅纳雷霍，SG；Grefenstette，E。；Ramalho，T。；Agapiou，J.，《使用具有动态外部存储器的神经网络的混合计算》，《自然》，538，7626，471-476（2016）·doi:10.1038/nature20101 [35] Hamilton，W.、Ying，Z.和Leskovec，J.（2017）。大型图的归纳表示学习。《神经信息处理系统进展》（第1024-1034页）。 [36] 赫尔马，C。；金，RD；克莱默，S。；Srinivasan，A.，《2000-2001年预测毒理学挑战》，生物信息学，17，1，107-108（2001）·doi:10.1093/bioinformatics/17.1.107 [37] 希尔，P。；Gallagher，J.，逻辑编程中的元程序设计，《人工智能和逻辑编程逻辑手册》，5421-497（1998）·Zbl 0900.68137号 [38] 霍恩内克，P。；Lukasiewicz，T.，深度神经网络的本体推理，《人工智能研究杂志》，68，503-540（2020）·Zbl 1445.68210号 ·doi:10.1613/jair.1.11661 [39] Huang，Z.和Mamoulis，N.（2017年）。基于元路径的邻近性的异构信息网络嵌入。arXiv预打印arXiv:170105291。 [40] Huang，Z.、Zheng，Y.、Cheng，R.、Sun，Y.，Mamoulis，N.和Li，X.（2016）。元结构：大型异构信息网络中的计算相关性。第22届ACM SIGKDD国际知识发现和数据挖掘会议记录（第1595-1604页）。 [41] Joshi，C.（2020年）。变压器是图形神经网络。渐变。 [42] Kadlec，R.、Bajgar，O.和Kleindienst，J.（2017）。知识库完成：基线反击。arXiv预打印arXiv:170510744。 [43] 卡泽米，SM；Poole，D.，统计关系模型的桥接加权规则和图随机行走，机器人和人工智能的前沿，5，8（2018）·doi:10.3389/frobt.2018.000008 [44] Kersting，K.和De Raedt，L.（2001）。贝叶斯逻辑程序。arXiv预印本cs/011058·Zbl 1006.68504号 [45] Kersting，K.和De Raedt，L.（2001）。将归纳逻辑编程与贝叶斯网络相结合。归纳逻辑编程，第11届国际会议，ILP 2001，法国斯特拉斯堡，2001年9月9日至11日，会议记录（第118-131页）·Zbl 1006.68518号 [46] Keskar，N.S.、Mudigere，D.、Nocedal，J.、Smelyanskiy，M.和Tang，P.T.P.（2016）。关于深度学习的大范围训练：泛化差距和显著极小值。arXiv预打印arXiv:160904836。 [47] Kim，J.、Kim，T.、Kim，S.和Yoo，C.D.（2019）。用于少快照学习的边标记图神经网络。《IEEE计算机视觉和模式识别会议论文集》（第11-20页）。 [48] Kimmig，A。；米哈尔科娃，L。；Getoor，L.，《提升的图形模型：一项调查》，《机器学习》，99，1，1-45（2015）·Zbl 1320.62016年 ·doi:10.1007/s10994-014-5443-2 [49] Kipf，T.、Fetaya，E.、Wang，K.C.、Welling，M.和Zemel，R.（2018年）。交互系统的神经关系推理。arXiv预打印arXiv:180204687。 [50] Kipf，T.N.和Welling，M.（2017年）。图卷积网络半监督分类。2017年4月24日至26日，在法国土伦举行的第五届学习表征国际会议上，ICLR 2017，会议记录，OpenReview.net。 [51] Kok，S.和Domingos，P.（2007年）。统计谓词发明。第24届机器学习国际会议论文集（第433-440页）。 [52] Kuhlmann，M.和Gogolla，M.（2012年）。从UML和OCL到关系逻辑再到关系逻辑。在模型驱动工程语言和系统国际会议上。施普林格（第415-431页）。 [53] 俄克拉荷马州库泽尔卡。；《有效包容测试的重新启动策略》，《基础信息》，第89、1、95-109页（2008年）·Zbl 1155.68489号 [54] Lamb，L.C.、d‘Avila Garcez，A.S.、Gori，M.、Prates，M.O.R.、Avelar，P。H.C.和Vardi，M.Y.（2020年）。图形神经网络与神经符号计算：综述与展望。Bessiere C（ed）《第二十九届国际人工智能联合会议论文集》，IJCAI 2020，IJCAI.org（第4877-4884页）。 [55] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习在文档识别中的应用》，IEEE学报，86，11，2278-2323（1998）·数字对象标识代码：10.1109/5.726791 [56] Li，J.和Jurafsky，D.（2015）。多义嵌入能提高自然语言理解吗？arXiv预打印arXiv:150601070。 [57] Li，Y.、Tarlow，D.、Brockschmidt，M.和Zemel，R.（2015）。门控图序列神经网络。arXiv预打印arXiv:151105493。 [58] Lipton，Z.C.、Berkowitz，J.和Elkan，C.（2015）。用于序列学习的递归神经网络的评论。arXiv预打印arXiv:150600019。 [59] Liu，Z.、Chen，C.、Yang，X.、Zhou，J.、Li，X.和Song，L.（2018）。用于恶意帐户检测的异构图形神经网络。在第27届ACM信息和知识管理国际会议论文集（第2077-2005页）。 [60] Lodhi，H.和Muggleton，S.（2005年）。诱变仍然具有挑战性吗。ILP-Late-Breaking论文35。 [61] Manhaeve，R.、Dumancic，S.、Kimmig，A.、Demeester，T.和De Raedt，L.（2018年）。Deepproblog：神经概率逻辑编程。《神经信息处理系统进展》（第3749-3759页）。 [62] Marcus，G.（2020年）。人工智能的下一个十年：走向强大人工智能的四个步骤。arXiv预打印arXiv:200206177。 [63] Marra，G.、Diligenti，M.、Giannini，F.、Gori，M.和Maggini，M.（2020年）。关系神经机器。arXiv预打印arXiv:200202193。 [64] Marra，G.、Giannini，F.、Diligenti，M.和Gori，M.（2019年）。歌词：集成AI和深度学习的通用接口层。arXiv预打印arXiv:190307534。 [65] Masters，D.和Luschi，C.（2018年）。重温深度神经网络的小批量训练。arXiv预印arXiv:180407612。 [66] 米尔恩，GW；尼克劳斯，MC；德里斯科尔，JS；王，S。；Zaharevitz，D.，美国国家癌症研究所药物信息系统三维数据库，《化学信息与计算机科学杂志》，34，5，1219-1224（1994）·doi:10.1021/ci00021a032 [67] Minervini，P.、Bosnjak，M.、Rocktäschel，T.和Riedel，S.（2018年）。走向大规模的神经定理证明。arXiv预印arXiv:180708204。 [68] 莫里斯，C。；Ritzert，M。；费伊，M。；汉密尔顿，WL；Lenssen，JE；藤条，G。；Grohe，M.、Weisfeiler和Leman go neural:高阶图神经网络，《AAAI人工智能会议论文集》，33，4602-4609（2019）·doi:10.1609/aaai.v33i01.33014602 [69] Muggleton，S.和De Raedt，L.（1994）。归纳逻辑程序设计：理论和方法。逻辑编程杂志19·Zbl 0816.68043号 [70] Nagino，G.和Shozakai，M.（2006年）。用于区分说话风格的高斯分布之间的距离度量。在第九届国际口语处理会议上。 [71] Neubig，G.、Dyer，C.、Goldberg，Y.、Matthews，A.、Ammar，W.、Anastasopoulos，A.、Ballesteros，M.、Chiang，D.、Clothiaux，D.和Cohn T等人（2017年）。Dynet：动态神经网络工具包。arXiv预打印arXiv:170103980。 [72] Neumann，M。；加内特，R。；Bauckhage，C。；Kersting，K.，《传播核：来自传播信息的有效图核》，机器学习，102，2，209-245（2016）·Zbl 1357.68178号 ·doi:10.1007/s10994-015-5517-9 [73] Niepert，M.、Ahmed，M.和Kutzkov，K.（2016年）。学习图的卷积神经网络。在机器学习国际会议上（第2014-2023页）。 [74] 奥西尼，F。；Frasconi，P。；De Raedt，L.，kproblog:机器学习的代数序言，机器学习，106，12，1933-1969（2017）·Zbl 1457.68237号 ·doi:10.1007/s10994-017-5668-y [75] Palm，R.、Paquet，U.和Winther，O.（2018年）。循环关系网络。《神经信息处理系统进展》（第3368-3378页）。 [76] 普拉特斯，M。；平均值，PH；莱莫斯，H。；兰姆，LC；Vardi，MY，《学习解决np完全问题：决策TSP的图形神经网络》，《AAAI人工智能会议论文集》，33，4731-4738（2019）·doi:10.1609/aaai.v33i01.33014731 [77] Raghothaman，M.、Si，X.、Heo，K.和Naik，M.（2019年）。Difflog：通过持续优化学习数据日志程序。arXiv预印arXiv:190600163。 [78] Richardson，M.和Domingos，P.（2006年）。马尔可夫逻辑网络。机器学习·Zbl 1470.68221号 [79] Rocktäschel，T.和Riedel，S.（2017年）。端到端的可微证明。神经信息处理系统进展。 [80] Rocktäschel，T.、Singh，S.和Riedel，S.（2015）。将逻辑背景知识注入到嵌入中以进行关系提取。计算语言学协会北美分会2015年会议记录：人类语言技术。 [81] Sankar，A.、Zhang，X.和Chang，K.C.C.（2017年）。基于模板的图卷积神经网络。arXiv预印本arXiv：171105697。 [82] 斯卡塞利，F。；戈里，M。；佐伊，AC；Hagenbuchner，M。；Monfardini，G.，图神经网络模型，IEEE神经网络汇刊，20，1，61-80（2008）·doi:10.1109/TNN.2008.2005605 [83] Schlichtkrull，M.、Kipf，T.N.、Bloem，P.、Van Den Berg，R.、Titov，I.和Welling，M.（2018年）。用图卷积网络建模关系数据。在欧洲语义网络会议上。施普林格（第593-607页）。 [84] Schmidhuber，J.（2015）。神经网络中的深度学习：综述。神经网络61。 [85] Serafini，L.和d'Avila Garcez，A.S.（2016）。逻辑张量网络：从数据和知识中进行深度学习和逻辑推理。arXiv预打印arXiv:160604422v1。 [86] Shang，J.、Qu，M.、Liu，J.，Kaplan，L.M.、Han，J.和Peng，J.（2016）。大规模异构信息网络中相似性搜索的元路径引导嵌入。arXiv预打印arXiv:161009769。 [87] Shi，C。；胡，B。；赵，WX；Philip，SY，《异构信息网络嵌入推荐》，IEEE知识与数据工程汇刊，31，2，357-370（2018）·doi:10.1109/TKDE.2018年2833443 [88] Simonovsky，M.和Komodakis，N.（2017）。图上卷积神经网络中的动态边条件滤波器。IEEE计算机视觉和模式识别会议记录（第3693-3702页）。 [89] Smolensky，P.，《张量积变量绑定和联结系统中符号结构的表示》，人工智能，46，1-2，159-216（1990）·Zbl 0717.68095号 ·doi:10.1016/0004-3702（90）90007-M [90] Smullyan，R.M.（1995）。一阶逻辑。Courier公司·Zbl 0172.28901号 [91] Socher，R.、Chen，D.、Manning，C.D.和Ng，A.（2013a）。使用神经张量网络进行推理以完成知识库。神经信息处理系统进展。 [92] Socher，R.、Perelygin，A.、Wu，J.Y.、Chuang，J.、Manning，C.D.、Ng，A.Y.和Potts C等人（2013b）。情感树库上语义合成的递归深度模型。《自然语言处理经验方法会议论文集》，Citeser，第1631卷（第1642页）。 [93] Šourek，G.、Aschenbrenner，V.、železny，F.和Kuželka，O.（2015）。提升了关系神经网络。《NIPS认知计算研讨会论文集：集成神经和符号方法》，与第29届神经信息处理系统年会合办（NIPS 2015）·Zbl 1444.68163号 [94] Šourek，G。；Aschenbrenner，V。；elezn，F。；肖克尔特，S。；Kuíelka，O.，《提升的关系神经网络：潜在关系结构的有效学习》，《人工智能研究杂志》，62，69-100（2018）·Zbl 1444.68163号 ·doi:10.1613/jair.1.11203 [95] Šourek，G.、Kuzelka，O.和Zelezhnỳ, F.（2013）。使用graphlet和时间功能预测twitter上的top-k趋势。ILP 2013最新论文第52页。 [96] Šourek，G.、Manandhar，S.、Zha-eleznỳ, F.、Schockaert，S.和Kuíelka，O.（2016）。使用提升的关系神经网络学习预测类别。在归纳逻辑编程国际会议上，Springer（第108-119页）·Zbl 1420.68179号 [97] Šourek，G.，Svatoš，M.，Zhi eleznỳ, F.、Schockaert，S.和Kuíelka，O.（2017）。提升关系神经网络的堆叠结构学习。在归纳逻辑编程国际会议上，Springer（第140-151页）·Zbl 1455.68183号 [98] Šourek，G.，elezn，F.和Kuíelka，O.（2021）。通过提升对结构化卷积模型进行无损压缩。 [99] Šourek，t.，elezn，F.，Kuíelka，O.（2020）。学习图形神经网络以外的分子。NeurIPS的分子机器学习车间，第24页·Zbl 1455.68183号 [100] Sun，L.，He，L.、Huang，Z.、Cao，B.、Xia，C.、Wei，X.和Philip，S.Y.（2018）。异构信息网络的元路径和元粒度联合嵌入。2018年IEEE大知识国际会议（ICBK），IEEE（第131-138页）。 [101] 孙，Y。；Han，J。；严，X。；余，PS；Wu，T.，Pathsim:异构信息网络中基于元路径的top-k相似性搜索，VLDB捐赠会议论文集，4，11，992-1003（2011）·数字对象标识代码：10.14778/3402707.3402736 [102] 毛巾，GG；Shavlik，JW，基于知识的人工神经网络，人工智能，70，1-2119-165（1994）·Zbl 0938.68774号 ·doi:10.1016/0004-3702（94）90105-8 [103] Towell，G.G.、Shavlik，J.W.和Noordewier，M.O.（1990年）。基于知识的神经网络对近似领域理论的改进。第八届全国人工智能会议论文集，马萨诸塞州波士顿（第861-866页）。 [104] Tripos，L.，Tripos mol2文件格式（2007），密苏里州圣路易斯：密苏里洲圣路易斯Tripos [105] Tsamoura，E.和Michael，L.（2020年）。神经-符号整合：合成视角。arXiv预打印arXiv:201011926。 [106] Tu，K.，Li，J.，Towsley，D.，Braines，D.，&Turner，L.D.（2019年）。gl2vec：使用graphlet学习定向网络的特征表示。2019年IEEE/ACM社交网络分析和挖掘进展国际会议论文集（第216-221页）。 [107] Unman，JD，《数据库和基于知识的系统原理》（1989），剑桥：计算机科学出版社，剑桥 [108] 乌温茨，W。；蒙法迪尼，G。；Blockeel，H。；戈里，M。；Scarselli，F.，《关系学习的神经网络：实验比较》，机器学习，82，3，315-349（2011）·doi:10.1007/s10994-010-5196-5 [109] MH范·埃姆登；Kowalski，RA，谓词逻辑作为编程语言的语义，《ACM杂志》（JACM），23，4，733-742（1976）·Zbl 0339.68004号 ·数字对象标识代码：10.1145/321978.321991 [110] Vaswani，A.、Shazeer，N.、Parmar，N.，Uszkoreit，J.、Jones，L.、Gomez，A.N.、Kaiser，L.和Polosukhin，I.（2017年）。注意力是你所需要的。神经信息处理系统。 [111] Velićković，P.、Cucurull，G.、Casanova，A.、Romero，A.、Lio，P.和Bengio，Y.（2017年）。绘制注意力网络图。arXiv预打印arXiv:171010903。 [112] Visser，E.（2002年）。具有具体对象语法的元编程。在生成性编程和组件工程国际会议上，Springer（第299-315页）·Zbl 1028.68921号 [113] Wang，M.、Yu，L.、Zheng，D.、Gan，Q.、Gai，Y.、Ye，Z.、Li，M.，Zhou，J.、Huang，Q.和Ma，C.等人（2019a）。深度图形库：面向高效和可扩展的图形深度学习。arXiv预打印arXiv:190901315。 [114] Wang，X.，Ji，H.，Shi，C.，Wang，B.，Ye，Y.，Cui，P.，&Yu，P.S.（2019b）。异质图形注意力网络。收录于《全球网络会议》（第2022-2032页）。 [115] Weber，L.、Minervini，P.、Münchmeyer，J.、Leser，U.和Rocktäschel，T.（2019年）。Nlprolog：自然语言中用于回答问题的弱统一推理。arXiv预印arXiv:190606187。 [116] 魏斯费勒，B。；Lehman，A.，将图还原为规范形式和在该还原过程中产生的代数，Nauchno Technicheskaya Informatsia，2，9，12-16（1968） [117] Wilson博士；Martinez，TR，梯度下降学习批量训练的普遍效率低下，神经网络，16，10，1429-1451（2003）·doi:10.1016/S0893-6080（03）00138-2 [118] Wu，Z.、Pan，S.、Chen，F.、Long，G.、Zhang，C.和Philip，S.Y.（2020年）。图形神经网络综述。IEEE神经网络和学习系统汇刊。 [119] Xu，K.、Hu，W.、Leskovec，J.和Jegelka，S.（2018a）。图形神经网络有多强大？arXiv预打印arXiv:181000826。 [120] Xu，K.，Li，C.，Tian，Y.，Sonobe，T.，Kawarabayashi，K.和Jegelka，S.（2018b）。具有跳跃知识网络的图的表示学习。arXiv预印arXiv:180603536。 [121] Yang，F.、Yang，Z.和Cohen，W.W.（2017）。用于知识库推理的逻辑规则的差异学习。《神经信息处理系统的进展》（第2319-2328页）。 [122] Zhou，J.、Cui，G.、Zhang，Z.、Yang，C.、Liu，Z.，Wang，L.、Li，C.和Sun，M.（2018）。图形神经网络：方法和应用综述。arXiv预打印arXiv:181208434。 [123] Zhu，S.、Zhou，C.、Pan，S、Zhu、X.和Wang，B.（2019年）。关系结构软件异构图神经网络。2019年IEEE国际数据挖掘会议（ICDM），IEEE（第1534-1539页）。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。