×

关于多标签学习的一致性。 (英语) Zbl 1284.68496号

摘要:在过去几年中,多标签学习受到了广泛关注。由于多标签损失函数的非凸性和不连续性,通常很难直接优化,因此已经开发了许多多标签方法,大多数都是使用代理损失函数。这些方法在经验上是有效的,然而,很少有人致力于理解它们的一致性,即学习函数的风险与贝叶斯风险的收敛性。在本文中,我们对这一重要问题进行了理论分析。我们首先证明了基于代理损失函数的多标签学习一致性的一个充要条件。然后,我们研究了两个著名的多标签损失函数的一致性,即。,排名损失汉明损失对于排名损失,我们的结果显示,令人惊讶的是,凸代理损失没有一个是一致的;我们提供部分排名损失一些替代损失被证明是一致的。我们还讨论了单变量替代损失的一致性。对于汉明损失,我们证明了两种多标签学习方法,即。,一对多成对比较可以被视为多类学习的直接扩展,在一般情况下是不一致的,但在主导性设置,最近的一些多标签方法也有类似的结果,这些方法是one-vs-all的变体。此外,我们还讨论了通过分解为一组二元分类问题来解决多标签学习的学习方法的一致性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bartlett,P.L。;M.I.乔丹。;麦考利夫,J.D.,凸性、分类和风险界限,美国统计协会杂志,101473138-156(2006)·Zbl 1118.62330号
[2] Ben-David,S。;Loker,D。;斯雷布罗,N。;Sridharan,K.,使用替代凸损失最小化误分类错误率,(第29届机器学习国际会议论文集。第29届国际机器学习会议论文集,苏格兰爱丁堡(2012))
[3] Boutel,M.R。;罗,J。;沈,X。;Brown,C.,学习多标签场景分类,模式识别,37,9,1757-1771(2004)
[4] Breiman,L.,预测系综的一些无穷大理论,《统计学年鉴》,32,1,1-11(2004)
[5] Bühlmann,P。;Yu,B.,《(l-2)损失推动:回归与分类》,美国统计协会杂志,98,462,324-339(2003)·Zbl 1041.62029号
[6] 卡内罗,G。;Chan,A。;莫雷诺,P。;Vasconcelos,N.,图像注释和检索语义类的监督学习,IEEE模式分析和机器智能学报,29,3,394-410(2007)
[7] Cossock,D。;Zhang,T.,贝叶斯最优子集排序的统计分析,IEEE信息理论汇刊,54,11,5140-5154(2008)·Zbl 1319.62042号
[8] 克拉默,K。;Singer,Y.,《关于基于核的多类向量机的算法实现》,《机器学习研究杂志》,2265-292(2001)·Zbl 1037.68110号
[9] Dekel,O。;曼宁,C。;Singer,Y.,标签排名的对数线性模型,(Thrun,S.;Saul,L.K.;Schölkopf,B.,《神经信息处理系统的进展》,第16卷(2004年),麻省理工学院出版社:麻省理学院出版社剑桥,马萨诸塞州)
[10] Dembczyánski,K。;Cheng,W.W。;Hüllermier,E.,通过概率分类器链进行贝叶斯最优多标签分类,(第27届国际机器学习会议论文集。第27届机器学习国际会议论文集,以色列海法(2010)),279-286
[11] Dembczyánski,K。;科特洛夫斯基,W。;Hüllermier,E.,通过单变量损失最小化实现一致多标签排名,(第29届机器学习国际会议论文集。第29届国际机器学习会议论文集,纽约,纽约(2012)),1319-1326
[12] Dembczyánski,K。;Waegeman,W。;Cheng,W。;Hüllermier,E.,多标签分类中的标签依赖和损失最小化,机器学习,88,1-2,5-45(2012)·Zbl 1243.68237号
[13] 杜奇,J.C。;Mackey,L.W。;Jordan,M.I.,《关于排序算法的一致性》,(第27届国际机器学习会议论文集。第27届机器学习国际会议论文集,以色列海法(2010)),327-334
[14] Elisseeff,A。;Weston,J.,《多标记分类的核心方法》(Dietterich,T.G.;Becker,S.;Ghahramani,Z.,《神经信息处理系统进展》,第14卷(2002年),麻省理工学院出版社:麻省理学学院出版社剑桥,马萨诸塞州),681-687
[15] Fürnkranz,J。;Hüllermier,E。;Mencía,大肠杆菌。;Brinker,K.,通过校准标签排名进行多标签分类,机器学习,73,2,133-153(2008)·Zbl 1470.68108号
[16] 高,W。;周Z.-H.,《论多标签学习的一致性》,(第24届学习理论年会论文集,第24届学术理论年会文献集,匈牙利布达佩斯(2011)),341-358
[17] 北加姆拉维。;McCallum,A.,集体多标签分类,(第14届美国计算机学会信息与知识管理国际会议论文集。第14届美国计算机学会信息与知识管理国际会议论文集,德国不来梅(2005)),195-200
[18] Godbole,S。;Sarawagi,S.,《多标签分类的判别方法》,(第八届亚太知识发现和数据挖掘会议论文集。第八届太平洋亚太知识发现与数据挖掘会议文献集,澳大利亚悉尼(2004)),22-30
[19] Hariharan,B。;Zelnik-Manor,L。;Vishwanathan,S。;Varma,M.,带先验的大规模最大边际多标签分类,(第27届机器学习国际会议论文集。第27届国际机器学习会议论文集,以色列海法(2010)),423-430
[20] 徐,D。;卡卡德,S.M。;Langford,J。;Zhang,T.,通过压缩感知进行多标签预测,(Bengio,Y.;Schuurmans,D.;Lafferty,J.;Williams,C.K.I.;Culotta,A.,《神经信息处理系统的进展》,第22卷(2009年),麻省理工学院出版社:麻省理学院出版社,马萨诸塞州剑桥),772-780
[21] Hüllermier,E。;Fürnkranz,J。;Cheng,W。;Brinker,K.,通过学习两两偏好进行标签排名,人工智能,172,16-17,1897-1916(2008)·Zbl 1184.68403号
[22] Lin,Y.,分类中的支持向量机和贝叶斯规则,数据挖掘和知识发现,6,3,259-275(2002)
[23] McAllester,D。;Keshet,J.,《潜在结构概率和斜坡损失的泛化界限和一致性》(Shawe-Taylor,J.;Zemel,R.S.;Bartlett,P.L.;Pereira,F.;Weinberger,K.Q.,《神经信息处理系统进展》,第23卷(2011年),麻省理工学院出版社),2205-2212
[24] 彼得森,J。;Caetano,T.,《反向多标签学习》,(Lafferty,J.;Williams,C.K.I.;Shawe-Taylor,J.,Zemel,R.S.;Culotta,A.,《神经信息处理系统的进展》,第23卷(2010),麻省理工学院出版社:麻省理学院出版社剑桥,1912-1920年)
[25] 齐国杰。;华,X.-S。;Rui,Y。;Tang,J。;梅,T。;Zhang,H.-J.,相关多标签视频注释,(第15届ACM国际多媒体会议论文集。第15届AMC国际多媒体会议文献集,德国奥格斯堡(2007)),17-26
[26] Rockafellar,R.T.,《凸分析》(1997),普林斯顿大学出版社:普林斯顿大学出版,新泽西州普林斯顿·Zbl 0897.49014号
[27] 夏皮雷,R.E。;Singer,Y.,BoosExter:一个基于增强的文本分类系统,机器学习,39,2,135-168(2000)·Zbl 0951.68561号
[28] Steinwart,I.,支持向量机和其他正则化核分类器的一致性,IEEE信息理论汇刊,51,1,128-142(2005)·Zbl 1304.62090号
[29] Taskar,B。;Guestrin,C。;Koller,D.,Max-margin-Markov网络,(Thrun,S.;Saul,L.;Schölkopf,B.,《神经信息处理系统的进展》,第16卷(2004),麻省理工学院出版社:麻省理学出版社剑桥,MA)
[30] Tewari,A。;Bartlett,P.L.,《论多类分类方法的一致性》,《机器学习研究杂志》,8,1007-1025(2007)·Zbl 1222.62079号
[31] 韦斯顿,J。;Watkins,C.,多类支持向量机(1998),Royal Holloway,技术代表CSD-TR-98-04
[32] 夏,F。;Liu,T.Y。;Li,H.,Top-k学习到排序方法的一致性,(Bengio,Y.;Schuurmans,D.;Lafferty,J.;Williams,C.k.I.;Culotta,A.,《神经信息处理系统进展》,第22卷(2009年),麻省理工学院出版社:麻省理工学院出版社,马萨诸塞州剑桥),2098-2106
[33] 夏,F。;Liu,T.Y。;Wang,J。;张伟。;Li,H.,Listwise method to learning to rank:Theory and algorithm,(第25届国际机器学习大会论文集。第25届国际机器学习大会论文集,芬兰赫尔辛基(2008)),1192-1199
[34] 张,M.-L。;Zhou,Z.-H.,多标签神经网络及其在功能基因组学和文本分类中的应用,IEEE知识与数据工程汇刊,18,10,1338-1351(2006)
[35] 张,M.-L。;Zhou,Z.-H.,ML-KNN:多标签学习的惰性学习方法,模式识别,40,7,2038-2048(2007)·Zbl 1111.68629号
[36] 张涛,一些多类别大幅度分类方法的统计分析,机器学习研究杂志,512251(2004)·Zbl 1222.68344号
[37] Zhang,T.,基于凸风险最小化的分类方法的统计行为和一致性,《统计年鉴》,32,1,56-85(2004)·Zbl 1105.62323号
[38] 周,Z.-H。;Zhang,M.-L.,《多实例多标签学习及其在场景分类中的应用》,(Schölkopf,B.;Platt,J.;Hofmann,T.,《神经信息处理系统的进展》,第19卷(2007),麻省理工学院出版社:麻省理学院出版社剑桥,马萨诸塞州),1609-1616
[39] 周,Z.-H。;张,M.-L。;黄,S.-J。;李玉凤,《多因素多标签学习》,人工智能,176,1,2291-2320(2012)·Zbl 1238.68139号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。