×
何洁月;王金萌;于志洲

基于注意力的对抗性正规化学习用于网络嵌入。 （英语） Zbl 1483.68301号

数据最小知识。发现。 35，第5期，2112-2140（2021）.
网络嵌入，也称为图嵌入和网络表示学习，是在低维空间中表示图或网络数据的有效方法。现有的方法大多着眼于保持网络拓扑和最小化重构误差，以学习网络的低维嵌入向量表示。此外，一些研究人员致力于属性网络的嵌入学习。这些研究人员通常分别研究网络结构和网络属性的两个矩阵，然后将它们合并以实现属性网络的嵌入学习表示。这些研究在各种下游任务上有不同的表现。然而，这些方法大多存在两个问题：第一，这些方法大都使用浅层模型来学习结构或属性嵌入，没有充分利用网络中包含的丰富信息，例如节点的邻域信息；其次，忽略了学习网络低维向量表示的分布，导致模型在实际网络数据中的泛化能力较差。因此，本文提出了一种基于注意机制的对抗性正则化网络表示学习模型，该模型通过图注意自动编码器将网络的拓扑特征和内容信息编码为低维嵌入向量表示。同时，通过对抗性训练模式，学习到的低维向量表示可以绕过显式先验分布的要求，从而获得更好的泛化能力。在链路预测和节点聚类任务上的大量实验证明了学习的网络嵌入的有效性。

MSC公司：

68T05型 人工智能中的学习和自适应系统
05C62号 图形表示（几何和交点表示等）
68兰特 计算机科学中的图论（包括图形绘制）

关键词：

网络嵌入;自动编码器;注意力机制;生成性对抗网络

软件：

单词2vec;DeepWalk公司;Wasserstein GAN公司;GraRep公司;节点2vec
PDF格式BibTeX公司 XML格式引用
\textit{J.He}等人，Data Min.Knowl。发现。35，编号5，2112--2140（2021；Zbl 1483.68301）
全文： 内政部

参考文献：

[1] Arjovsky M、Chintala S、Bottou L（2017），瓦瑟斯坦生成性对抗网络。In:Precup D，Teh YW（eds）《第34届机器学习国际会议论文集》，2017年8月6日至11日，澳大利亚新南威尔士州悉尼，ICML 2017，PMLR，《机器学习研究论文集》第70卷，第214-223页，http://proceedings.mlr.press/v70/arjovsky17a.html
[2] Bhagat S、Cormode G、Muthukrishnan S（2011）《社交网络中的节点分类》。In：社交网络数据分析。Springer，第115-148页
[3] 弗吉尼亚州布隆德尔；纪尧姆，JL；兰比奥特，R。；Lefebvre，E.，《大型网络中社区的快速发展》，J Stat Mech，2008，10（2008）·Zbl 1459.91130号 ·doi:10.1088/1742-5468/2008/10/P10008
[4] Bullinaria，JA；Levy，JP，《从单词共现统计中提取语义表示：一项计算研究》，Behav Res Methods，39，3，510-526（2007）·doi:10.3758/BF03193020
[5] Cao S，Lu W，Xu Q（2015）Grarep:具有全局结构信息的学习图表示。收件人：Bailey J、Moffat A、Aggarwal CC、de Rijke M、Kumar R、Murdock V、Sellis TK、Yu JX（编辑）《第24届ACM信息和知识管理国际会议论文集》，2015年10月19日至23日，澳大利亚维多利亚州墨尔本，ACM，第891-900页，doi:10.1145/2806416.2806512
[6] Cao S，Lu W，Xu Q（2016）用于学习图形表示的深度神经网络。收录于：Schuurmans D，Wellman MP（eds）《第三十届AAAI人工智能会议论文集》，2016年2月12日至17日，美国亚利桑那州凤凰城，AAAI出版社，第1145-1152页，http://www.aaai.org/ocs/index.php/aaai/AAAI16/paper/view/12423
[7] Chen H，Perozzi B，Hu Y，Skiena S（2018）HARP：网络分层表征学习。收录于：McIlraith SA、Weinberger KQ（eds）《第三十二届AAAI人工智能会议论文集》（AAAI-18）、《第三十届人工智能创新应用》（IAAI-18，第2127-2134页，https://www.aaai.org/ocs/index.php/aaai/AAAI18/paper/view/16273
[8] 戴Q，李Q，唐J，王D（2017）对抗网络嵌入。CoRR arXiv:1711.07838号
[9] 高H，黄H（2018）深度属性网络嵌入。参见：Lang J（ed）《第二十七届国际人工智能联合会议论文集》，2018年7月13日至19日，瑞典斯德哥尔摩，IJCAI.org，pp 3364-3370，doi:10.24963/IJCAI.2018/467
[10] Goodfellow IJ、Pouget-Abadie J、Mirza M、Xu B、Warde-Farley D、Ozair S、Courville AC、Bengio Y（2014）《生成对抗网》。在：Ghahramani Z，Welling M，Cortes C，Lawrence ND，Weinberger KQ（eds）神经信息处理系统进展27：2014年神经信息处理系统年会，2014年12月8日至13日，加拿大魁北克省蒙特利尔，第2672-2680页，http://papers.nips.cc/paper/5423-generative-adversarial-nets
[11] Grover A，Leskovec J（2016）node2vec：网络的可扩展特征学习。在：Krishnapuram B，Shah M，Smola AJ，Aggarwal CC，Shen D，Rastogi R（编辑）第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，美国加利福尼亚州旧金山，2016年8月13日至17日，ACM，第855-864页，doi:10.145/2939672.2939754
[12] 何科，张X，任S，孙J（2016）图像识别的深度剩余学习。在：2016年IEEE计算机视觉和模式识别会议，2016年CVPR，美国内华达州拉斯维加斯，2016年6月27日至30日，IEEE计算机协会，第770-778页，doi:10.109/CVPR.2016.90
[13] 希顿、杰夫（2017）伊恩·古德费罗（Ian goodfellow）、约书亚·本吉奥（yoshua bengio）和亚伦·库维尔（aaron courville）：深度学习。遗传编程与进化机器s10710-017-9314-z
[14] Hou C，He S，Tang K（2020）Rosane：稀疏网络的鲁棒可扩展属性网络嵌入。神经计算
[15] Huang X，Li J，Hu X（2017）加速属性网络嵌入。收件人：Chawla NV，Wang W（eds）2017年SIAM数据挖掘国际会议论文集，美国德克萨斯州休斯顿，2017年4月27日至29日，SIAM，pp 633-641，doi:10.1137/1.9781611974973.71
[16] IT部Jolliffe；Cadima，J.，《主成分分析：回顾与最新发展》，Philos Trans a Math Phys Eng，374206520150202（2016）·Zbl 1353.62067号
[17] Kipf TN，Welling M（2016a）《图卷积网络半监督分类》。CoRR abs/1609.02907，arXiv:1609.02907
[18] Kipf TN，Welling M（2016b）变分图自动编码器。CoRR abs/1611.07308，arXiv:1611.07308
[19] 劳伦斯，VDM；Hinton，G.，使用t-sne可视化数据，J Mach Learn Res，926052579-2605（2008）·Zbl 1225.68219号
[20] Liao，L。；何，X。；张，H。；Chua，T.，属性社交网络嵌入，IEEE Trans Knowl Data Eng，30，12，2257-2270（2018）·doi:10.1109/TKDE.2018年281998年
[21] Liben-Nowell，D。；Kleinberg，JM，《社交网络的链接预测问题》，J Assoc Inf Sci-Technol，58，7，1019-1031（2007）·doi:10.1002/asi.20591
[22] 刘伟。；刘，Z。；Yu，F。；陈，P。；铃木，T。；Hu，G.，一种可扩展的属性感知网络嵌入系统，神经计算，339，279-291（2019）·doi:10.1016/j.neucom.2019.01.106
[23] Makhzani A、Shlens J、Jaitly N、Goodfellow IJ（2015）《对手自动编码器》。CoRR abs/1511.05644，arXiv:1511.05644
[24] Mikolov T、Sutskever I、Chen K、Corrado GS、Dean J（2013）《单词和短语的分布式表示及其组成》。摘自：Burges CJC、Bottou L、Ghahramani Z、Weinberger KQ（eds）《神经信息处理系统进展》第26期：2013年第27届神经信息处理体系年会。2013年12月5日至8日在美国内华达州塔霍湖举行的会议记录，第3111-3119页，http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-ther-compositional
[25] 欧M，崔P，裴J，张Z，朱伟（2016）非对称及物性保持图嵌入。收件人：Krishnapuram B、Shah M、Smola AJ、Aggarwal CC、Shen D、Rastogi R（编辑）第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，2016年8月13日至17日，美国加利福尼亚州旧金山，ACM，pp 1105-1114，doi:10.1145/2939672.29339751
[26] Pan S，Hu R，Long G，Jiang J，Yao L，Zhang C（2018）用于图嵌入的反正则图自动编码器。参见：Lang J（ed）《第二十七届国际人工智能联合会议论文集》，2018年7月13日至19日，瑞典斯德哥尔摩，IJCAI.org，第2609-2615页，doi:10.24963/IJCAI.2018/362
[27] 彭，C。；王，X。；裴，J。；朱伟，《网络嵌入调查》，IEEE Trans Knowl Data Eng，PP，99，1-1（2017）
[28] Perozzi B，Al Rfou R，Skiena S（2014）深度行走：社交表征的在线学习。收录人：Macskassy SA、Perlich C、Leskovec J、Wang W、Ghani R（编辑）第20届ACM SIGKDD知识发现和数据挖掘国际会议，KDD’14，美国纽约州纽约市-2014年8月24日至27日，ACM，第701-710页，doi:10.1145/2623330.2623732
[29] 邱J，董毅，马赫，李J，王凯，唐J（2018）网络嵌入作为矩阵分解：统一deepwalk、line、pte和node2vec。在：Chang Y，Zhai C，Liu Y，Maarek Y（编辑）第十一届ACM网络搜索和数据挖掘国际会议论文集，WSDM 2018，Marina Del Rey，CA，美国，2018年2月5日至9日，ACM，第459-467页，doi:10.1145/3159565.3159706
[30] 罗宾逊，SL；RJ Bennett，《越轨工作场所行为的类型学：一项多维尺度研究》，马纳格研究院J，38，2，555-572（1995）
[31] Rubenstein PK、Schölkopf B、Tolstikhin IO（2018）《Wasserstein自动编码器：潜在维度和随机编码器》。参加：2018年4月30日至5月3日在加拿大不列颠哥伦比亚省温哥华举行的第六届国际学习代表大会，研讨会记录，OpenReview.net，https://openreview.net/forum？id=r157GIJvz
[32] Tang，L。；Liu，H.，《利用社交媒体网络进行分类》，《数据挖掘知识发现》，第23、3、447-478页（2011年）·Zbl 1235.91150号 ·doi:10.1007/s10618-010-0210-x
[33] Tian F，Gao B，Cui Q，Chen E，Liu T（2014）学习图聚类的深度表示。摘自：Brodley CE，Stone P（eds）《第二十八届AAAI人工智能会议论文集》，2014年7月27日至31日，加拿大魁北克省魁北克市，AAAI出版社，第1293-1299页，http://www.aaai.org/ocs/index.php/aaai/AAAI14/paper/view/8527
[34] Tolstikhin IO、Bousquet O、Gelly S、Schölkopf B（2018）Wasserstein自动编码器。参加：2018年4月30日至5月3日在加拿大不列颠哥伦比亚省温哥华举行的第六届国际学习代表大会，会议记录，OpenReview.net，https://openreview.net/forum？id=HkL7n1-0亿
[35] Velickovic P、Cucurull G、Casanova A、Romero A、LióP、Bengio Y（2018）《图形注意力网络》。参加：2018年4月30日至5月3日在加拿大不列颠哥伦比亚省温哥华举行的第六届国际学习代表大会，会议记录，OpenReview.net，https://openreview.net/forum？id=rJXMpikCZ
[36] 王德，崔萍，朱伟（2016）结构深层网络嵌入。收件人：Krishnapuram B、Shah M、Smola AJ、Aggarwal CC、Shen D、Rastogi R（编辑）第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，2016年8月13日至17日，美国加利福尼亚州旧金山，ACM，pp 1225-1234，doi:10.1145/2939672.29339753
[37] Wu D，Hu R，Zheng Y，Jiang J，Sharma N，Blumenstein M（2019a）采用对抗训练方法的特征相关图卷积自动编码器。In:神经网络国际联合会议，2019年7月14日至19日，匈牙利布达佩斯，2019，IEEE，第1-8页，doi:10.1109/IJCNN.2019.8852314
[38] 吴，W。；于，Z。；He，J.，基于邻域结构的半监督深度网络嵌入方法，大数据Min Anal，2，3，205-216（2019）·doi:10.26599/BDMA.2019.9020004
[39] Xia R，Pan Y，Du L，Yin J（2014）基于低秩稀疏分解的稳健多视角光谱聚类。摘自：Brodley CE，Stone P（编辑）2014年7月27日至31日在加拿大魁北克省魁北克市举行的第二十八届AAAI人工智能会议记录，AAAI出版社，第2149-2155页，http://www.aaai.org/ocs/index.php/aaai/AAAI14/paper/view/8135
[40] Xu B，Wang N，Chen T，Li M（2015）卷积网络中整流激活的实证评估。CoRR abs/1505.00853，arXiv:1505.00853
[41] Yang C，Liu Z，Zhao D，Sun M，Chang EY（2015）《使用丰富文本信息的网络表征学习》。Yang Q，Wooldridge MJ（eds）《第二十四届国际人工智能联合会议论文集》，2015年7月25日至31日，阿根廷布宜诺斯艾利斯，2015年国际人工智能学会，AAAI出版社，第2111-2117页，http://ijcai.org/Abstract/15/299
[42] 叶J，Janardan R，Li Q（2004）二维线性判别分析。In:神经信息处理系统进展17[神经信息处理体系，NIPS 2004，2004年12月13-18日，加拿大不列颠哥伦比亚省温哥华]
[43] Yu W，Zheng C，Cheng W，Aggarwal CC，Song D，Zong B，Chen H，Wang W（2018）学习使用对抗性正规化自动编码器的深层网络表征。收件人：Guo Y，Farooq F（eds）《第24届ACM SIGKDD知识发现与数据挖掘国际会议论文集》，KDD 2018，英国伦敦，2018年8月19日至23日，ACM，pp 2663-2671，doi:10.1145/3219819.3220000
[44] Yu，Z。；张，Z。；陈，H。；Shao，J.，属性网络上的结构化子空间嵌入，Inf Sci，512，726-740（2020）·doi:10.1016/j.ins.2019.1015
[45] Zhang D，Yin J，Zhu X，Zhang C（2019）通过子空间发现的属性网络嵌入·兹比尔1458.68192
[46] Zhang Z，Yang H，Bu J，Zhou S，Yu P，Zhang J，Ester M，Wang C（2018）ANRL:通过深度神经网络的属性网络表征学习。参见：Lang J（ed）《第二十七届国际人工智能联合会议论文集》，2018年7月13日至19日，瑞典斯德哥尔摩，IJCAI.org，第3155-3161页，doi:10.24963/IJCAI.2018/438
[47] Zhao JJ，Kim Y，Zhang K，Rush AM，LeCun Y（2018）《反正规化自动编码器》。摘自：Dy JG，Krause A（eds）《第35届国际机器学习会议论文集》，ICML 2018，Stockholmsmässan，斯德哥尔摩，瑞典，2018年7月10日至15日，PMLR，《机器学习研究论文集》第80卷，第5897-5906页，http://proceedings.mlr.press/v80/zhao18b.html
[48] 赵，Z。；周，H。；李，C。；Tang，J。；曾琦，《Deepemlan:属性网络的深度嵌入学习》，《信息科学》，2020，543（2020）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。