用于图表示学习的图传播变换器

用于图表示学习的图传播变换器

Zhe Chen、Hao Tan、Tao Wang、Tianrun Shen、Tong Lu、Qiuying Peng、Cheng Cheng、Yue Qi

第三十二届国际人工智能联合会议论文集
主要轨道。第3559-3567页。https://doi.org/10.24963/ijcai.2023/396
本文提出了一种用于图表示学习的新型变换器结构。我们方法的核心见解是，在转换器块中构建注意力模块时，充分考虑图中节点和边之间的信息传播。具体来说，我们提出了一种新的注意机制，称为图形传播注意（GPA）。它以三种方式在节点和边之间显式传递信息，即节点到节点、节点到边和边到节点，这对于学习图形结构数据至关重要。在此基础上，我们设计了一个有效的转换器架构，名为图形传播转换器（GPTrans），以进一步帮助学习图形数据。我们在多个基准数据集上的大量图形学习实验中验证了GPTrans的性能。这些结果表明，我们的方法优于许多最新的基于变压器的图模型，具有更好的性能。代码将于发布https://github.com/czczup/GPTrans。
关键词：
机器学习：ML：应用
机器学习：ML：注意力模型
机器学习：ML：序列和图形学习