×
徐建华

具有随机块坐标下降方法的多标签拉格朗日支持向量机。 （英语） Zbl 1390.68561号

信息科学。 329, 184-205 (2016).
摘要：当在单个优化问题中同时考虑所有训练实例和标签时，多标签支持向量机和核向量机（即秩SVM和秩CVM）被表示为具有等式约束和有界约束的二次规划问题，其训练过程具有次线性收敛速度。因此，设计和实现一种高效的SVM型多标签算法是非常必要的。本文通过在相关和不相关标签之间应用成对约束，并定义一个近似的排序损失，将二进制拉格朗日支持向量机（LSVM）推广到构造其多标签形式（Rank-LSVM），从而得到一个仅具有非负约束的严格凸QP问题。特别是，每个训练实例都与一个变量块相关联，所有变量都自然地划分为可管理的块。因此，我们使用具有线性收敛速度的随机块坐标下降法建立了一个有效的Rank-LSVM训练过程。此外，还采用启发式策略来减少支持向量的数量。在12个数据集上的实验结果表明，与Rank CVM和Rank SVM相比，我们的方法在5个性能指标下工作得更好，平均运行速度分别快15和107倍，支持向量分别减少了9%和15%。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分；聚类分析（统计方面）

关键词：

多标签分类；支持向量机；核函数；块坐标下降法；二次规划

软件：

ML-KNN公司；BoosTexter公司；MULAN公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Xu}，信息科学。329184-205（2016；Zbl 1390.68561）
全文： 内政部

参考文献：

[1] Boutel，M.R。；罗，J。；沈，X。；Brown，C.M.，学习多标签场景分类，模式识别。，37, 9, 1757-1771 (2004)
[2] 德卡瓦略，A.C。；Freitas，A.A.，多标签分类技术教程，函数近似和分类，5177-195（2009），Springer
[3] Chang，K.-W。；谢长杰。；Lin，C.-J.，大型l2-损失线性支持向量机的坐标下降法，J.Mach。学习。第9号决议，1369-1398（2008）·Zbl 1225.68157号
[4] 陈伟杰。；Shao，Y.-H。；Hong，N.，《用于半监督分类的拉普拉斯平滑双支持向量机》，国际J.Mach。学习。赛博。，5, 3, 459-468 (2014)
[5] Cheng，W。；Hullermeier，E.，将基于实例的学习和逻辑回归相结合用于多标签分类，马赫。学习。，76, 2-3, 211-225 (2009) ·Zbl 1470.68091号
[6] Dembczynski，K。；Waegeman，W。；Hullermeier，W.C.E.，多标签分类中的标签依赖性和损失最小化，马赫。学习。，88, 1-2, 5-45 (2012) ·Zbl 1243.68237号
[7] Demsar，J.，多数据集分类器的统计比较，J.Mach。学习。研究，7，1-30（2006）·Zbl 1222.68184号
[8] 杜达，R.O。；哈特，体育。；斯托克·D·G，《模式分类》（2001），约翰·威利父子公司：约翰·威立父子公司，美国纽约·Zbl 0968.68140号
[10] M.弗兰克。；Wolfe，P.，二次规划算法，Nav。Res.Logist公司。Q.，3，1-2，95-110（1956）
[12] Furnkranz，J。；Hullermeier，E。；Mencia，E.L.公司。；Brinker，K.，通过校准标签排名进行多标签分类，马赫数。学习。，73, 2, 133-153 (2008) ·Zbl 1470.68108号
[13] 高，X。；范，L。；Xu，H.，矩阵数据分类的多秩多线性核支持向量机，Int.J.Mach。学习。赛博。（2015），正在出版。在线发布：2015年6月4日
[14] Gentle，J.E.，《矩阵代数：统计学中的理论、计算和应用》（2007），Springer:Springer New York，USA·Zbl 1133.15001号
[15] Guelat，J。；Marcotte，P.，对Wolfes away step的一些评论，数学。程序。，35, 1, 110-119 (1986) ·Zbl 0592.90074号
[16] Hildreth，C.，二次规划程序，Nav。Res.Logist公司。Q.，4，1，79-85（1957）
[18] 贾亚德瓦；Khemchandani，R。；Chandra，S.，用于模式识别的双支持向量机，IEEE Trans。帕特。分析。机器。智力。，29, 5, 901-910 (2007)
[19] 姜建勇。；蔡，S.-C。；Lee，S.-J.，FSKNN：基于模糊相似性和k近邻的多标签文本分类，专家系统。申请。，392813-2821（2012年）
[20] 李，P。；李，H。；Wu，M.，基于可变两两约束投影的多标签集成，Inform。科学。，222, 269-281 (2013)
[21] Madjarov，G。；科切夫，D。；Gjorgjevikj，D。；Dzeroski，S.，《多标签学习方法的广泛实验比较》，模式识别。，45, 9, 3084-3104 (2012)
[22] Mangasarian，O.L。；Musicant，D.R.，拉格朗日支持向量机，J.Mach。学习。第161-171号决议（2001年）·Zbl 0997.68108号
[23] 内科瓦拉，I。；Patrascu，A.，《复合目标函数和线性耦合约束优化问题的随机坐标下降算法》，计算。最佳方案。申请。，57, 2, 307-337 (2014) ·Zbl 1304.90160号
[24] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，2, 2, 341-362 (2012) ·Zbl 1257.90073号
[25] 尼古拉斯·R。；Sancho-Asenio，A。；Golobardes，E。；Fornells，A。；Orriols-Puig，A.，基于模拟推理的多标签分类，专家系统。申请。，40, 15, 5924-5931 (2013)
[26] Peng，X.，在原始空间中构建稀疏双支持向量机分类器，Inform。科学。，181, 18, 3967-3980 (2011)
[27] 里德·J。；普法林格，B。；霍姆斯，G。；Frank，E.，多标签分类的分类器链，马赫。学习。，85, 3, 333-359 (2011)
[28] Richtarik，P。；Takac，M.，最小化复合函数的随机块坐标下降方法的迭代复杂性，数学。程序。，144, 1-2, 1-38 (2014) ·Zbl 1301.65051号
[29] 夏皮雷，R.E。；Singer，Y.，Boostexer:一个基于Boostexer的文本分类系统，Mach。学习。，39, 2-3, 135-168 (2000) ·Zbl 0951.68561号
[30] 沙列夫·舒尔茨，S。；Tewari，A.，《l1-正则化损失最小化的随机方法》，J.Mach。学习。第12号决议，1865-1892年（2011年）·Zbl 1280.62081号
[31] Sun，L。；Mu，W.S。；齐，B。；Zhou，Z.-J.，一种用于垂直分区数据分类的新的隐私保护近端支持向量机，Int.J.Mach。学习。赛博。，6, 1, 109-118 (2015)
[32] 陶，D。；李，X。；吴，X。；胡，W。；Maybank，S.J.，监督张量学习，Knowl。通知。系统。，13, 1, 1-42 (2007)
[34] Tsang，I.W。；郭敬通（Kwok，J.T.）。；Cheung，P.-M.，核心向量机：超大数据集上的快速SVM训练，J.Mach。学习。第6号决议，363-392（2005年）·Zbl 1222.68320号
[35] Tsang，I.W。；郭敬通（Kwok，J.T.）。；Zurada，J.M.，广义核心向量机，IEEE Trans。神经网络。，17, 5, 1126-1140 (2006)
[36] Tsoumakas，G。；Katakis，I.，《多标签分类：概述》，《国际数据仓库》。最小值，3，3，1-13（2007）
[37] Tsoumakas，G。；Katakis，I。；Vlahavas，I.，挖掘多标签数据，数据挖掘和知识发现手册，667-685（2010），施普林格
[38] Tsoumakas，G。；弗拉哈瓦斯，I。；Katakis，I.，多标签分类的随机k标签集，IEEE Trans。知识。数据工程，23，7，1079-1089（2011）
[39] Vapnik，V.N.，《统计学习理论》（1998），John Wiley and Sons:John Willey and Sons New York，USA·Zbl 0935.62007号
[40] 王，P.-W。；Lin，C.-J.，凸优化可行下降方法的迭代复杂性，J.Mach。学习。第15号决议，1523-1548（2014）·Zbl 1319.90051号
[41] Wen，Z。；Goldfarb，D。；Scheinberg，K.，Seimdefine编程的块坐标下降法，《半定、二次曲线和多项式优化手册》，166，533-564（2012），Springer·Zbl 1334.90118号
[42] 吴，X。；库马尔，V.，《数据挖掘中的十大算法》（2009），查普曼和霍尔/CRC：查普曼与霍尔/CRC博卡拉顿，佛罗里达州，美国
[43] Xu，J.，快速多标签核心向量机，模式识别。，46, 3, 885-898 (2013) ·Zbl 1254.68233号
[45] 张，M.-L。；佩纳，J.M。；Robles，V.，多标签朴素贝叶斯分类的特征选择，Inform。科学。，179, 19, 3218-3229 (2009) ·Zbl 1193.68219号
[46] 张，M.-L。；Zhou，Z.-H.，多标签神经网络及其在功能基因组学和文本分类中的应用，IEEE Trans。知识。数据工程，18，10，1338-1351（2006）
[47] 张，M.-L。；Zhou，Z.-H.，ML-kNN：多标签学习的惰性学习方法，模式识别。，40, 5, 2038-2048 (2007) ·Zbl 1111.68629号
[48] 张，M.-L。；Zhou，Z-H.，多标签学习算法综述，IEEE Trans。知识。数据工程，26，8，1837-1919（2014）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。