面向图嵌入的改进图注意机制模型

doi:10.3778/j.issn.1002-8331.2205-0432

摘要/摘要

摘要：针对图神经网络模型学习图嵌入节点表示过程中易丢失大量特征信息及其图拓扑保留不完整的问题，提出了一种改进的图注意力（注意图形）机制模型。该模型分为节点级双向注意力机制和图级自注意图池化两部分。在学习图节点新的特征向量表示过程中，采取计算双向图注意力权重的方式，为邻域节点的保留提供可靠选择的同时增强节点间的相似属性；在图的整体拓扑上结合自注意图池，使用节点特征向量作为输入，通过注意卷积层提供的自注意权重在池化层生成图嵌入表示；在科拉、Citeser、Pubmed数据集上进行了测试，实验结果表明：相比于基准图注意力机制模型，改进模型能够充分考虑图的局部和整体结构特征，有效增强模型聚合邻域信息的能力，减少了图嵌入过程中原始特征的丢失，明显提升了模型在下游任务的表现性能。

关键词: 图嵌入, 双向图注意力机制, 自注意图池, 特征表示, 图拓扑

摘要：针对图神经网络模型中学习图中嵌入节点表示过程中容易丢失大量特征信息和图拓扑不完全保存的问题，提出了一种改进的图注意机制模型。该模型分为节点级双向注意机制和图级自注意图池。在表示学习图节点的新特征向量时，采用双向图注意权重的计算，为保留相邻节点提供可靠的选择，同时增强节点间的相似性。将自关注图池与图的整体拓扑相结合，使用节点特征向量作为输入，通过注意卷积层提供的自关注权重在池层生成图嵌入表示。它在Cora、Citeser和Pubmed数据集上进行了测试。根据实验结果，与基线图注意机制模型相比，改进模型充分考虑了图的局部和全局结构特征。它有效地增强了模型聚集邻域信息的能力，减少了图嵌入中原始特征的丢失，并显著提高了模型在下游任务中的性能。

关键词： 图形嵌入，双向图形注意机制，自我注意图池，特征表示，图形拓扑

李智杰, 韩津津, 李昌华, 张颉. 面向图嵌入的改进图注意机制模型[J] ●●●●。计算机工程与应用, 2023, 59(17): 152-158.

李志杰、韩金金、李昌华、张杰。用于图嵌入的改进的图注意机制模型[J]。计算机工程与应用，2023,59（17）：152-158。

参考文献

[1] BIANCHI F M，GRATTAROLA D，LIVI L，等.带卷积aRMA滤波器的图形神经网络[J]。IEEE模式分析和机器智能汇刊，2021,44（7）：3496-3507。
[2] HENRY N，FEKETE J D，MCGUFFIN M.NodeTrix：社交网络的混合可视化[J]。IEEE Trans-Vis计算图，2007,13（6）：1302-1309。
[3] 陈明，魏忠，黄忠，等.简单与深图卷积网络[J].arXiv:2007.021332020。
[4] CHAMI I，YING R，RéC等。双曲图卷积神经网络[C]//神经信息处理系统进展，2019:4869-4880。
[5] 刘峰，薛深，吴杰，等。社区检测深度学习：进展、挑战与机遇[J].arXiv:2005.082252020。
[6] 邹文武.社交网络用户影响力的发展动态及知识图谱研究[J] 《形势报告》，2020,38（9）：107-115。
邹伟伟.社交网络用户影响力发展趋势及知识图谱研究[J]。信息科学，2020,38（9）：107-115。
[7] 祁志卫，王笳辉，岳昆，等.图嵌入方法与应用：研究综述[J] .《报告》，2020,48（4）：808-818。
齐志伟，王建华，岳克，等.图嵌入的方法与应用综述[J]。电子学报，2020,48（4）：808-818。
[8] CAO S，LU W.Grarep:学习图表示与全局结构信息[C]//第24届ACM国际信息与知识管理会议论文集，美国纽约，2015:891-900。
[9] PEROZZI B，AL-RFOU R，SKIENA S.DeepWalk：社会表征的在线学习[C]//第20届ACM SIGKDD知识发现和数据挖掘国际会议（KDD’14）论文集，美国纽约州纽约市，2014:701-710。
[10] WU Z，PAN S，CHEN F，等.图神经网络的综合研究[J]。IEEE神经网络和学习系统汇刊，2021,32（1）：4-24。
[11] KIPF T N，WELLING M.图卷积网络半监督分类[J].arXiv:1609.029072016。
[12] 哈密尔顿·W·L，英·R，莱斯科维奇·J·大图的归纳表示学习[J].arXiv:1706。02216，2017.
[13] 维利科维P，CUCURULL G，CASANOVA A，等.图形注意网络[J].arXiv:1710.109032017。
[14] 徐坤，李聪，田毅，等.具有跳跃知识网络的图的表示学习[J].arXiv:1806.035362018。
[15] 孟力，张J.IsoNN:用于图表示学习和分类的同构神经网络[J].arXiv:1907.094952019。
[16] CA I H，ZHENG V W，CHANG C C.图嵌入的综合综述：问题、技术和应用[J]。IEEE知识与数据工程汇刊，2018,30（9）：1616-1637。
[17] GIBERT J，VALVENY E，BUNKE H。基于节点属性统计的向量空间图嵌入[J]。模式识别，2012，45（9）：3072-3083。
[18] 阎S，徐丹，张斌，等.图嵌入与扩展：降维的一般框架[J]。IEEE模式分析与机器智能汇刊，2007,29（1）：40-51。
[19] 王佳.图神经网络浅析[J] .截至2019年（23）：58-62。
王杰.图神经网络分析[J]。现代计算机，2019（23）：58-62。
[20] 巴尔达萨雷F，AZIZPOUR H.图卷积网络的解释技术[J].arXiv:1905。13686，2019.
[21]LEE J，LEE I，KANG J.自我注意图池[J].arXiv:1904.080822019。
[22]HE T，BAI L，ONG Y S.图联合注意网络[J].arXiv:2102.031472021。
[23]ABU-EL-HAIJA S，PEROZZI B，AL-RFOU R，et AL.注意步骤：通过图形关注学习节点嵌入[J].arXiv:1710.095992017。