超越图神经网络与提升关系神经网络

@第{Sourek2020BeyondGN条,title={超越图神经网络与提升关系神经网络},author={古斯塔夫·苏雷克(Gustav Sourek)和菲利普·埃列zn(Filipřelezn){\'y}和Ondൿej Ku{\vz}elka},journal={机器学习},年份={2020年},体积={110},页码={1695-1738},网址={https://api.semanticscholar.org/CorpusID:220496029}}
基于提升关系神经网络(Lifted Relational Neural Networks)语言的声明性可微编程框架,其中使用小型参数化逻辑程序通过底层对称性对深层关系学习场景进行编码,主要关注图形神经网络(GNN)。

超越图形神经网络的分子学习

我们展示了一个深度学习框架,该框架内在地基于高度表达的关系逻辑语言,能够捕获任意复杂的图形

用图形数据学习和推理:神经和统计相关方法(特邀论文)

它显示了如何将通用GNN体系结构直接编码为RBN,从而实现“低级”神经模型组件与SRL的“高级”符号表示和灵活推理能力的直接集成。

单调最大和GNN与数据日志的对应

结果表明,对于每个GNN,可以计算一个Datalog程序,以便将GNN应用于任何数据集都会产生与将程序规则应用于数据集的单轮相同的事实。

基于神经预测器的自动图分类器框架

提出的PGNAS框架高效且可扩展,可以以更低的计算成本广泛探索搜索空间,在四个基准数据集上优于现有的手工和Graph-NAS模型。

图神经网络概念验证的生成解释:基于关联秩子图的符号谓词研究

这一贡献为GNN分类输出的概念验证引入了一个基准,该基准由取自著名康定斯基模式数据集的对称和非对称图形的符号表示组成,并提供了一个新的验证框架,可用于生成可理解的解释ILP位于Gnn解释程序的相关输出之上。

如何告诉深层神经网络我们所知道的

本文通过对输入、损失函数和深层网络架构的更改,以便于说明的方式,检查域知识的包含。

将领域知识纳入深度神经网络的一些技术综述

通过改变输入、损失函数和深层网络的结构,对使用神经网络构建模型时包括现有科学知识的方式进行了调查。

实体关系模型的自动特征提取:关系学习机器学习方法的实验评估

用于特征提取的命题化算法使得直接将传统ML算法应用于关系学习成为可能,而专门针对关系学习的方法仍然面临可扩展性、可解释性和效率方面的挑战。

利用模式定向逆蕴涵将领域知识包含到GNN中

术语“BotGNN”用于这种形式的图形神经网络,能够将GNN的计算效率与ILP的代表性多功能性结合起来,并且表明BotGNNs的性能显著优于没有背景知识和最近提出的包含领域知识的简化技术的GNNs到GNN。

提升的关系神经网络:潜在关系结构的有效学习

一种提升的框架,其中一阶规则用于描述给定问题设置的结构,允许潜在关系结构的声明性规范,然后可以使用神经网络学习在给定数据集中有效地发现潜在关系结构。

图形神经网络之外的分子学习

我们展示了一个深度学习框架,该框架内在地基于高度表达的关系逻辑语言,能够捕获任意复杂的图形

提升的关系神经网络

一种将关系逻辑表示与神经网络学习相结合的方法,该方法允许通过与规则对应的共享隐藏层权重进行层次关系建模构造和潜在关系概念的学习。

DyNet:动态神经网络工具包

DyNet是一个用于实现基于网络结构动态声明的神经网络模型的工具包,该工具包具有优化的C++后端和轻量级图形表示,旨在允许用户以其首选编程语言中惯用的方式实现其模型。

端到端可微证明

结果表明,在四分之三的基准知识库上,该体系结构的性能优于CompleEx(一种最先进的神经链路预测模型),同时还导出了可解释的无函数一阶逻辑规则。

图形神经网络有多强大?

这项工作描述了流行的GNN变体(如图卷积网络和图SAGE)的辨别能力,并表明它们无法学会区分某些简单的图结构,并且开发了一个简单的架构,该架构在GNN类中可以证明是最具表现力的。

基于提升的结构化卷积模型无损压缩

受提升的启发,本工作引入了一种简单有效的技术来检测对称性并在不丢失任何信息的情况下压缩神经模型,并证明了这种压缩可以显著提高结构化卷积模型(如各种图形神经网络)在各种任务中的速度。

提升关系神经网络的堆叠结构学习

提升的关系神经网络框架通过结构学习进行了扩展,从而实现了完全自动化的学习过程,并能够自动归纳有用的层次化软概念,从而形成具有竞争力预测能力的深层LRNN。

门控图序列神经网络

这项工作研究了图形结构输入的特征学习技术,并在程序验证问题上实现了最先进的性能,其中子图需要与抽象数据结构匹配。

深度图库:面向高效和可扩展的图深度学习

Deep Graph Library(DGL)支持任意消息处理和变异操作符、灵活的传播规则,并且与框架无关,以便利用现有框架中已有的高性能张量、签名操作和其他特征提取模块。
...