×

兹马思-数学第一资源

图上的注意多标签学习:一种信息传递方法。(英语) Zbl 07097460
摘要:我们解决了图上多标签分类的一个很大的开放问题。与传统的向量输入不同,图具有丰富的可变大小的子结构,这些子结构在某些方面与标签相关。我们相信,揭示这些关系可能是分类性能和可解释性的关键。本文提出了一种新的图神经网络多标签学习注意模型GAML。GAML将标签作为辅助节点,结合输入图对其进行建模。GAML通过对标签节点和输入节点迭代地应用神经消息传递算法和注意机制,可以在不同的分辨率尺度下捕捉标签和输入子图之间的关系。此外,我们的模型可以利用显式的标签依赖性。由于我们提出的方法,它还可以随标签数量和图形大小线性缩放等级注意. 我们对GAML进行了大量的实验,包括图结构输入和经典非结构输入。结果表明,GAML的性能明显优于其他竞争方法。重要的是,GAML支持直观的可视化,以便更好地理解标签子结构关系和模型行为的解释。
理学硕士:
68T05型 人工智能中的学习与自适应系统
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] Alanis Lobato,G.,Andrade Navarro,M.A.和Schaefer,M.H.(2016年)。嬉皮士v2。0:增强蛋白质-蛋白质相互作用网络的意义和可靠性。核酸研究,gkw985。
[2] Bahdanau,D.、Cho,K.和Bengio,Y.(2014年)。神经机器翻译联合学习对齐和翻译。ArXiv预印本ArXiv:1409.0473。
[3] 毕伟、郭建勤(2011)。树和dAG结构层次的多标签分类。机器学习国际会议论文集,第17-24页。
[四] Bruna,J.,Zaremba,W.,Szlam,A.和LeCun,Y.(2013年)。图上的谱网络与局部连通网络. ArXiv预印本ArXiv:1312.6203。
[5] Chen,M.,Lin,Z.,和Cho,K.(2018年)。带结构标签空间的图卷积网络分类. ArXiv预印本ArXiv:1710.04908。
[6] Chen,S.-F.,Chen,Y.-C.,Yeh,C.-K.,和Wang,Y.-C.F.(2017年)。基于视觉注意的无订单RNN多标签分类. ArXiv预印本ArXiv:1707.05495。
[7] Cho,K.,Van Merriënboer,B.,Gulcehre,C.,Bahdanau,D.,Bougares,F.,Schwenk,H.等人(2014年)。用于统计机器翻译的RNN编解码器学习短语表示. arXiv预印本arXiv:1406.1078。
[8] Defferrard,M.l.,Bresson,X.和Vandergheynst,P.(2016年)。图的卷积神经网络快速局部谱滤波。神经信息处理系统进展,第3844-3852页。
[9] Dembczynski,K.,Cheng,W.和Hüllermeier,E.(2010年)。基于概率分类器链的Bayes最优多标签分类。机器学习国际会议论文集,第10卷,第279-286页。
[10] Deng,J.,Ding,N.,Jia,Y.,Frome,A.,Murphy,K.,Bengio,S.等人(2014年)。基于标签关系图的大规模对象分类。欧洲计算机视觉会议记录(第48-64页)。斯普林格。
[11] Fout,A.,Byrd,J.,Shariat,B.和Ben Hur,A.(2017年)。利用图卷积网络预测蛋白质界面。神经信息处理系统进展,第6533-6542页。
[12] Fürnkranz,J。;Hüllermeier,E。;门西亚,埃尔;Brinker,K.,通过校准标签排名进行多标签分类,机器学习,73133-153,(2008)
[13] Ghamrawi,N.和McCallum,A.(2005年)。集合多标签分类。信息和知识管理国际会议记录(第195-200页)。ACM公司。
[14] Gilmer,J.,Schoenholz,S.S.,Riley,P.F.,Vinyals,O.和Dahl,G.E.(2017年)。量子化学的神经信息传递。机器学习国际会议论文集.
[15] Gong,Y.,Jia,Y.,Leung,T.,Toshev,A.和Ioffe,S.(2013年)。多标签图像标注的深度卷积排序. ArXiv预印本ArXiv:1312.4894。
[16] Grover,A.和Leskovec,J.(2016年)。node2vec:网络的可扩展特征学习。知识发现和数据挖掘国际会议记录(第855-864页)。ACM公司。
[17] Guo,Y.和Gu,S.(2011年)。使用条件依赖网络的多标签分类。国际人工智能联席会议录,第22卷,p。1300
[18] Hamilton,W.,Ying,Z.和Leskovec,J.(2017a)。大型图的归纳表示学习。神经信息处理系统进展,第1025-1035页。
[19] Hamilton,W.L.,Ying,R.和Leskovec,J.(2017b)。图的表示学习:方法与应用. ArXiv预印本ArXiv:1709.05584。
[20] Jin,W.,Barzilay,R.和Jaakkola,T.(2018年)。分子图生成的连接树变分自动编码器. ArXiv预印本ArXiv:1802.04364。
[21] Kingma,D.和Ba,J.(2014年)。Adam:一种随机优化方法. ArXiv预印本ArXiv:1412.6980。
[22] Kipf,T.N.和Welling,M.(2016a)。基于图卷积网络的半监督分类. ArXiv预印本ArXiv:1609.02907。
[23] Kipf,T.N.和Welling,M.(2016b)。变分图自动编码器. ArXiv预印本ArXiv:1611.07308。
[24] 孔,X。;Philip,SY,gMLC:图形分类、知识和信息系统的多标签特征选择框架,31281-305,(2012)
[25] Lafferty,J.,McCallum,A.和Pereira,F.(2001年)。条件随机场:分割和标记序列数据的概率模型。机器学习国际会议论文集,第282-289页。
[26] Li,X.和Guo,Y.(2015年)。基于特征感知的非线性标签空间变换的多标签分类。国际人工智能联席会议录,2015年第3635-3642页。
[27] Li,Y.,Tarlow,D.,Brockschmidt,M.和Zemel,R.(2016年)。门控图序列神经网络。学习表征国际会议论文集.
[28] Li,Y.,Vinyals,O.,Dyer,C.,Pascanu,R.和Battaglia,P.(2018年)。学习图的深层生成模型. ArXiv第1803号预印本。
[29] 马贾罗夫,G。;科切夫,D。;戈尔杰维基,D。;Džeroski,S.,多标签学习方法的广泛实验比较,模式识别,453084-3104,(2012)
[30] Mullard,A.,“新药研发成本[美元]26亿美元”,《自然评论》药物发现,13877-877,(2014)
[31] Narayanan,A.,Chandramohan,M.,Venkatesan,R.,Chen,L.,Liu,Y.和Jaiswal,S.(2016年)。graph2vec:学习图的分布式表示. ArXiv预印本ArXiv:1707.05005。
[32] Niepert,M.,Ahmed,M.和Kutzkov,K.(2016年)。学习图的卷积神经网络。机器学习国际会议论文集.
[33] Perozzi,B.,Al-Rfou,R.和Skiena,S.(2014年)。Deepwalk:在线学习社交表征。知识发现和数据挖掘国际会议记录(第701-710页)。ACM公司。
[34] Pham,T.,Tran,T.和Venkatesh,S.(2017年)。一刀切:多x学习列束. ArXiv预印本ArXiv:1702.07021。
[35] Pham,T.,Tran,T.和Venkatesh,S.(2018年)。分子活性预测的图记忆网络. ArXiv预印本ArXiv:1801.02622。
[36] Pham,T.,Tran,T.,Phung,D.和Venkatesh,S.(2017年)。用于集体分类的列网络。人工智能会议论文集.
[37] 读,J。;鲁特曼,P。;普法林格,B。;Holmes,G.,Meka:Weka的多标签/多目标扩展,机器学习研究杂志,17667-671,(2016)·Zbl 1360.68708号
[38] 斯卡塞利,F。;戈里,M。;Tsoi,AC公司;哈根布什内尔,M。;Monfardini,G.,图神经网络模型,IEEE神经网络汇刊,20,61-80,(2009)
[39] 谢弗,MH;方丹,J-F;维纳亚格姆,A。;波拉斯,P。;万克,EE;Andrade Navarro,MA,嬉皮士:将蛋白质相互作用网络与基于实验的质量分数相结合,PLoS ONE,7,e31826,(2012)
[40] Schlichtkrull,M.,Kipf,T.N.,Bloem,P.,van den Berg,R.,Titov,I.和Welling,M.(2017年)。基于图卷积网络的关系数据建模. ArXiv预印本ArXiv:1703.06103。
[41] 塞格勒,MHS;科吉,T。;泰尔坎,C。;Waller,MP,利用递归神经网络生成药物发现的聚焦分子库,ACS中央科学,4120-131,(2017)
[42] 谢尔瓦希泽,N。;施维泽,P。;列文,EJ;梅尔霍恩,K。;Borgwardt,KM,Weisfeiler Lehman graph kernels,机器学习研究杂志,122539-2561,(2011)·Zbl 1280.68194
[43] Simonovsky,M.和Komodakis,N.(2018年)。Graphvae:用变分自动编码器生成小图. ArXiv预印本ArXiv:1802.03480。
[44] Srivastava,R.K.,Greff,K.和Schmidhuber,J.(2015年)。训练非常深入的人际网络。神经信息处理系统进展,第2377-2385页。
[45] 太阳,L。;吉,S。;Ye,J.,多标签分类的规范相关分析:最小二乘公式、扩展和分析,IEEE模式分析与机器智能汇刊,33194-200,(2011)
[46] Takigawa,I。;Mamitsuka,H.,完备子图特征集上线性模型的广义稀疏学习,模式分析与机器智能IEEE汇刊,39617-624,(2017)
[47] Teney,D.,Liu,L.和van den Hengel,A.(2017年)。可视化问答的图形结构表示。IEEE计算机视觉与模式识别会议论文集.
[48] Tsochantaridis,I.,Hofmann,T.,Joachims,T.和Altun,Y.(2004年)。支持向量机学习的相互依赖和结构化输出空间。国际机器学习会议记录,第823-830页。
[49] Tsoumakas,G.和Vlahavas,I.(2007年)。随机k-标签集:多标签分类的集成方法。欧洲机器学习会议论文集,第406-417页。斯普林格。
[50] Tsoumakas,G.,Katakis,I.和Vlahavas,I.(2008年)。在具有大量标签的领域中有效的多标签分类。ECML/PKDD多维数据挖掘研讨会论文集(第21卷,第53-59页)。序号。
[51] Tsoumakas,G。;Katakis,I.,多标签分类:概述,国际数据仓库与挖掘杂志,3,1-13,(2007)
[52] Tsoumakas,G。;斯皮罗米特罗斯熊菲斯,E。;维尔切克,J。;Vlahavas,I.,Mulan:用于多标签学习的java库,机器学习研究杂志,122411-2414,(2011)·Zbl 1280.68207
[53] Wang,H.,Wang,J.,Wang,J.,Zhao,M.,Zhang,W.,Zhang,F.等人(2017年)。Graphgan:生成对抗网络的图表示学习. ArXiv预印本ArXiv:1711.08267。
[54] Wang,J.,Yang,Y.,Mao,J.,Huang,Z.,Huang,C.,和Xu,W.(2016年)。CNN-RNN:一个统一的多标签图像分类框架。IEEE计算机视觉与模式识别会议论文集,第2285-2294页。IEEE。
[55] 魏,Y。;夏伟。;林,M。;黄,J。;镍、硼。;东,J。;赵勇。;Yan,S.,HCP:多标签图像分类的灵活CNN框架,IEEE模式分析与机器智能汇刊,381901-1907,(2016)
[56] Xu,K.,Ba,J.,Kiros,R.,Cho,K.,Courville,A.,Salakhudinov,R.等人(2015年)。展示、出席和讲述:用视觉注意力生成神经图像。机器学习国际会议论文集,第2048-2057页。
[57] Yanardag,P.和Vishwanathan,S.V.N.(2015年)。深图核。第21届ACM-SIGKDD国际知识发现与数据挖掘会议论文集(第1365-1374页)。ACM公司。
[58] Yeh,C.-K.,Wu,W.-C.,Ko,W.-J.,和Wang,Y.-C.F.(2017年)。学习多标签分类的深层潜在空间。人工智能会议论文集,第2838-2844页。
[59] You,J.,Ying,R.,Ren,X.,Hamilton,W.L.和Leskovec,J.(2018年)。graphnn:图的深层生成模型. ArXiv预印本ArXiv:1802.08773。
[60] Zhang,D.,Yin,J.,Zhu,X.和Zhang,C.(2017年)。网络表征学习研究综述. ArXiv预印本ArXiv:1801.05852。
[61] 张,M-L;周,Z-H,ML-KNN:多标签学习的懒惰学习方法,模式识别,402038-2048,(2007)·Zbl 1111.68629
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。