×
克日什托夫·登布奇恩斯基；威廉·韦格曼；程伟伟；埃克·Hüllermier

多标签分类中的标签依赖和损失最小化。 （英语） Zbl 1243.68237号

机器。学习。 88，编号1-2，5-45（2012）.
摘要：近年来提出的大多数多标签分类（MLC）方法都试图以某种方式利用类标签之间的依赖性。与作为基线的简单二进制相关学习相比，性能的任何提高通常都是因为该方法忽略了这种依赖性。在不质疑这些研究的正确性的情况下，我们必须承认，这种笼统的解释掩盖了许多微妙的细节，事实上，实验研究中报告的改进的潜在机制和真正原因很少被揭示。本文的目的不是提出另一种MLC算法，而是更详细地阐述利用标签依赖的思想，从而有助于更好地理解MLC。采用统计学的观点，我们认为应该区分两种类型的标签依赖，即条件依赖和边际依赖。随后，我们提出了三种场景，在这些场景中，利用其中一种依赖性可以提高分类器的预测性能。在这方面，建立了与损失最小化的密切联系，表明利用标签依赖的好处也取决于要最小化的损失类型。给出了两个具有代表性的损失函数，即Hamming损失和子集0/1损失的具体理论结果。此外，我们对MLC的最新分解算法进行了概述，并试图揭示其有效性的原因。我们的结论得到了精心设计的合成和基准数据实验的支持。

引用于30文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62小时30分 分类和区分；聚类分析（统计方面）

关键词：

多标签分类；标签依赖性；损失函数

软件：

ElemStatLearn（电子状态学习）；木兰；BoosTexter公司
PDF格式BibTeX公司 XML格式引用
\textit{K.Dembczyáski}等人，马赫。学习。88，编号1--2，5--45（2012；Zbl 1243.68237）
全文： DOI程序

参考文献：

[1] 阿米特，Y。；Dekel，O。；Singer，Y.，多标签问题中标签覆盖的增强算法，第2期，27-34（2007）
[2] A der Merwe，A.和Zidek，J.（1980）。多元回归分析和典型变量。加拿大统计杂志，8，27-39·Zbl 0499.62057号 ·doi:10.2307/3314667
[3] Boutel，M.、Luo，J.、Shen，X.和Brown，C.（2004）。学习多标签场景分类。模式识别，37（9），1757-1771·doi:10.1016/j.patcog.2004.03.009文件
[4] Breiman，L.和Friedman，J.（1997）。多元线性回归预测多变量反应。英国皇家统计学会杂志。B系列：统计方法，69，3-54·Zbl 0897.62068号
[5] Caruana，R.（1997）。多任务学习：基于知识的归纳偏见来源。机器学习，28，41-75·doi:10.1023/A:1007379606734
[6] Cheng，W.和Hüllermier，E.（2009）。结合基于实例的学习和逻辑回归进行多标签分类。机器学习，76（2-3），211-225·Zbl 1470.68091号 ·doi:10.1007/s10994-009-5127-5
[7] Chierichetti，F。；库马尔，R。；潘迪，S。；Vassilvitskii，S.，《发现贾卡德中位数》，293-311（2010）·Zbl 1288.68258号
[8] Dekel，O。；曼宁，C。；辛格，Y。；Thrun，S.（编辑）；Saul，L.（编辑）；Schölkopf，B.（编辑），标签排名的对数线性模型（2004），剑桥
[9] Dembczyánski，K。；科特·奥斯基（Kotłowski，W.）。；Słowiáski，R.，最大似然规则集合，224-231（2008），麦迪逊·数字对象标识代码：10.1145/1390156.1390185
[10] Dembczyánski，K。；程，W。；Hüllermier，E.，《通过概率分类器链进行贝叶斯最优多标签分类》（2010），麦迪逊
[11] Dembczyánski，K。；Waegeman，W。；程，W。；Hüllermier，E.，多标签分类中的标签依赖性（2010）
[12] Dembczyánski，K。；Waegeman，W。；程，W。；Hüllermeier，E.，多标签分类中性能指标的回归分析：hamming和子集零一损失的情况（2010），柏林
[13] Dembczyánski，K。；Waegeman，W。；程，W。；Hüllermier，E.，F测度最大化的精确算法，第25期（2012）
[14] Elisseeff，A。；Weston，J.，多标记分类的核方法，681-688（2002）
[15] Finley，T。；Joachims，T.，《当精确推理难以解决时训练结构性SVM》（2008年），麦迪逊
[16] Fürnkranz，J.、Hüllermeier，E.、Loza Mencía，E.和Brinker，K.（2008）。通过校准标签排名进行多标签分类。机器学习，73（2）·Zbl 1470.68108号
[17] 北加姆拉维。；McCallum，A.，《集体多标签分类》，195-200（2005）·doi:10.1145/1099554.1099591
[18] Godbole，S。；Sarawagi，S.，多标记分类的判别方法，22-30（2004）
[19] 哈里哈兰，B。；Zelnik-Manor，L。；Vishwanathan，S。；Varma，M.，具有先验的大规模最大裕度多标签分类（2010），柏林
[20] Hastie，T.、Tibshirani，R.和Friedman，J.H.（2007）。统计学习要素：数据挖掘、推理和预测（第二版）。柏林：斯普林格·Zbl 0973.62007号
[21] 徐，D。；卡卡德，S。；Langford，J。；Zhang，T.，通过压缩感知进行多标签预测，772-780（2009）
[22] Hüllermier，E.、Fürnkranz，J.、Cheng，W.和Brinker，K.（2008）。通过学习成对偏好进行排名。人工智能，172（16-17），1897-1916·Zbl 1184.68403号 ·doi:10.1016/j.artint.2008.08.002
[23] Izenman，A.（1975年）。多元线性模型的降秩回归。多元分析杂志，5248-262·兹比尔0313.62042 ·doi:10.1016/0047-259X（75）90042-1
[24] Joe，H.（2000）。多元模型和相关性概念。伦敦：查普曼和霍尔·Zbl 0990.62517号
[25] Jordan，M.I.（编辑）（1998年）。在图形模型中学习。多德雷赫特：克鲁沃学院·Zbl 0889.00024号
[26] 卡鲁什·W（1939）。以不等式为边约束的多变量函数的极小值。芝加哥大学数学系硕士论文。
[27] 库恩，H.W。；塔克，A.W.，非线性规划，481-492（1951）·Zbl 0044.05903号
[28] Lafferty，J.D。；McCallum，A。；Pereira，F.C.N.，条件随机场：分割和标记序列数据的概率模型，282-289（2001）
[29] Pestian，J.P.、Brew，C.、Matykiewicz，P.、Hovermale，D.J.、Johnson，N.、Cohen，K.B.和Duch，W.（2007年）。涉及临床自由文本多标签分类的共享任务。BioNLP'07：2007年BioNLP研讨会会议记录（第97-104页）。计算语言学协会。
[30] Pletscher，P。；Ong，C.S。；Buhmann，J.M.，《结构化输出学习的熵和边际最大化》（2010），柏林
[31] 里德·J。；普法林格，B。；霍姆斯，G。；Frank，E.，多标签分类的分类器链，254-269（2009）
[32] Schapire，RE，&Singer，Y.（2000）。Boostexter：一个基于boosting的文本分类系统。机器学习，39，135-168·Zbl 0951.68561号 ·doi:10.1023/A:1007649029923
[33] Sklar，A.（1959年）。维度和层次划分功能（技术代表）。巴黎大学公共统计研究所8。
[34] Tai，F。；Lin，H.T.，带原则标签空间变换的多标签分类（2010）
[35] Trohidis，K。；Tsoumakas，G。；Kalliris，G。；Vlahavas，I.，《音乐情感的多标签分类》，325-330（2008）
[36] Tsochantaridis，Y.、Joachims，T.、Hofmann，T.和Altun，Y.（2005）。结构化和独立输出变量的大幅度方法。《机器学习研究杂志》，61453-484·Zbl 1222.68321号
[37] Tsoumakas，G.和Katakis，I.（2007年）。多标签分类：概述。国际数据仓库与挖掘杂志，3（3），1-13·doi:10.4018/jdwm.2007070101
[38] Tsoumakas，G。；Vlahavas，I.，《随机k标签集：多标签分类的集合方法》，406-417（2007）·doi:10.1007/978-3-540-74958-5_38
[39] Tsoumakas，G。；Katakis，I。；弗拉哈瓦斯，I。；Maimon，O.（编辑）；Rokach，L.（编辑），《挖掘多标签数据》（2010年），柏林
[40] 韦斯顿，J。；沙佩尔，O。；Elisseeff，A。；Schölkopf，B。；Vapnik，V.，《内核依赖性估计》，873-880（2002）·Zbl 1068.68557号
[41] Witten，I.H.和Frank，E.（2005年）。数据挖掘：实用机器学习工具和技术（第二版）。圣马特奥：摩根·考夫曼·Zbl 1076.68555号
[42] Yu，S.，Yu，K.，Tresp，V，&Kriegel，H.P.（2006）。多输出正则化特征投影。IEEE知识与数据工程汇刊，18（12），1600-1613·doi:10.1109/TKDE.2006.194
[43] 张，M.L。；Zhang，K.，利用标签依赖进行多标签学习，999-1008（2010），纽约·数字对象标识代码：10.1145/1835804.1835930
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。