×

一种用于训练基于核的多类向量机的并行分解算法。 (英语) Zbl 1226.90106号

摘要:我们提出了一种用于训练Crammer和Singer基于核的多类向量机模型的分解方法。提出了一种新的工作集选择规则。建立了基于该选择规则的算法的全局收敛性。在每次迭代时,选择投影梯度法来求解产生的二次子问题。利用约束的结构设计了一种高效的投影算法。给出了并行策略以利用多处理器系统上可用的存储和计算资源。对基准问题的数值实验表明,该方法能够获得良好的分类精度和显著的时间节省。

MSC公司:

90立方厘米 非线性规划
90摄氏52度 降低梯度类型的方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 内政部:10.1162/15324430152733133·Zbl 1013.68175号 ·doi:10.1162/15324430152733133
[2] A.Frank和A.Asuncion,UCI机器学习库[http://archive.ics.uci.edu/ml]2010年,加州大学欧文分校信息与计算机科学学院
[3] 内政部:10.1137/S1052623497330963·兹比尔1047.90077 ·doi:10.1137/S1052623497330963
[4] Boser,B.E.,Guyon,I.M.和Vapnik,V.N.最佳边缘分类器的训练算法。COLT’92:第五届计算学习理论年度研讨会论文集。第144-152页。纽约州纽约市:ACM出版社。
[5] Bottou,L.,Cortes,C.,Denker,J.S.,Drucker,H.,Guyon,I.,Jackel,L.D.,LeCun,Y.,Sackinger,E.,Simard,P.,Vapnik,V.N.和Muller,U.A.分类器方法的比较:手写数字识别中的一个案例研究。《第十二届模式识别和神经网络国际会议论文集》,加利福尼亚州洛斯阿拉米托斯,第2卷,第77-82页。
[6] DOI:10.1023/A:1008663629662·Zbl 1040.90574号 ·doi:10.1023/A:1008663629662
[7] 内政部:10.1007/0-387-30065-1_4·doi:10.1007/0-387-30065-14
[8] Chang C.-C.,Libsvm公司
[9] 柯林斯M.、J.马赫。学习。第9号决议第1775页–(2008年)
[10] 内政部:10.1162/15324430152733142·Zbl 1052.68111号 ·doi:10.1162/15324430152733142
[11] C.Cortes和V.Vapnik,支持向量网络,马赫。学习。,20(3)(1995),Kluwer Academic Publishers Hingham,MA,USA,第273-297页·Zbl 0831.68098号
[12] Crammer,K.和Singer,Y.2000。”使用连续松弛改进分类的输出编码”。编辑:Leen,Todd K.,Thomas,G.,Dietterich和Volker,Tresp。第12卷,437-443。马萨诸塞州剑桥:麻省理工学院出版社。神经信息处理系统研究进展
[13] Crammer,K.和Singer,Y.关于多类问题输出代码的可学习性和设计。COLT’00:第十三届计算学习理论年会论文集。第35-46页。美国加利福尼亚州旧金山:Morgan Kaufmann Publishers Inc·Zbl 1012.68155号
[14] 内政部:10.1162/15324430260185628·Zbl 1037.68110号 ·网址:10.1162/15324430260185628
[15] DOI:10.1023/A:1013637720281·Zbl 1012.68155号 ·doi:10.1023/A:1013637720281
[16] DOI:10.1007/s10107-005-0595-2·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2
[17] Dietterich T.G.,J.Artif。智力。第2号决议第263页–(1995年)
[18] 论坛,M.P.1994。”MPI:消息传递接口标准”。田纳西州诺克斯维尔技术报告
[19] Friedman,J.1996年。”多光子分类的另一种方法”。美国:斯坦福大学统计系。技术报告
[20] 内政部:10.1162/153244302320884605·Zbl 1033.68086号 ·网址:10.1162/153244302320884605
[21] 内政部:10.1145/641876.641880·Zbl 1068.90586号 ·doi:10.1145/641876.641880
[22] Guermeur,Y.2000。”将判别模型与新的多类SVM相结合”。LORIA校园科学。Neuro COLT2系列技术报告NC-TR-00-086·Zbl 1021.68080号
[23] 内政部:10.1109/TNN.2002.1000139·doi:10.1109/TNN.2002.1000139
[24] Joachims,T.1999年。”使大规模支持向量机学习实用化”。编辑:Schölkopf,B.,Burges,C.和Smola,A.169–184。美国马萨诸塞州剑桥:《内核方法的进展:支持向量机》,麻省理工学院出版社。
[25] Kindermann,J.、Leopold,E.和Paass,G.带纠错码的多类分类。Treffen der GI-Fachgruppe 1.1.3 Maschinelles Lernen的会议记录(FGML-2000)。德国圣奥古斯丁。编辑:Leopold,E.和Kirsten eds,M.GMD Report 114
[26] Keerthi,S.S.、Sundararajan,S.、Chang,K.W.、Hsieh,C.J.和Lin,C.J..大型多类线性支持向量机的序贯对偶方法。KDD’08:第14届ACM SIGKDD知识发现和数据挖掘国际会议开幕式。第408-416页。纽约州纽约市:ACM出版社。
[27] Knerr,S.、Personnaz,L.和Dreyfus,G.1990年。”重温单层学习:构建和训练神经网络的逐步过程”。编辑:Fogelman Soulié,F.和Hérault,J.41-50。斯普林格·弗拉格。神经计算:算法、架构和应用,北约ASI系列第F68卷
[28] Kreßl U.,《内核方法的进展——支持向量学习》第255页–(1999)
[29] Lee,Y.,Lin,Y.和Wahba,G.2001年。”多类别支持向量机”。威斯康星大学统计系。技术报告1043·Zbl 1089.62511号
[30] Lee,Y.,Lin,Y.和Wahba,G.多类别支持向量机。在第33届接口研讨会上发表。加利福尼亚州科斯塔梅萨市六月·Zbl 1089.62511号
[31] Lin,Y.1999。”支持向量机和分类中的贝叶斯规则”。威斯康星大学统计系。技术报告1014
[32] Mayoraz,E.和Alpaydin,E.1998年5月。”支持向量机进行多类分类”。瑞士瓦莱市马蒂尼五月:Dallel Molle感知人工智能研究所。IDIAP研究报告98-06
[33] J.Mercer,正负型函数及其与积分方程理论的联系,伦敦皇家学会哲学学报A辑,第209卷(1909年),第415-446页·doi:10.1098/rsta.1909.016
[34] Murtagh B.A.,米诺斯5.5。用户指南(1998)
[35] Osuna,E.、Freund,R.和Girosi,F.训练支持向量机:人脸检测的应用。IEEE计算机学会计算机视觉和模式识别会议论文集。第6卷,第130–136页。
[36] 内政部:10.1007/BF01585748·Zbl 0711.90061号 ·doi:10.1007/BF01585748
[37] J.Platt,《序贯最小优化:训练支持向量机的快速算法》,技术报告MSR-TR-98-14,Microsoft Research,1998年
[38] Platt J.C.,《神经信息处理系统进展》,第12页,第547页–(2000)
[39] 里夫金·R·J·马赫。学习。第5号决议,第101页–(2004年)
[40] DOI:10.1017/CBO9780511809682·doi:10.1017/CBO9780511809682
[41] 孙伟,《优化理论与方法:非线性规划》(2006)
[42] Teo,C.H.、Smola,A.、Vishwanathan,S.V.和Le,Q.V.。正则化风险最小化的可扩展模块凸解算器。KDD’07:第13届ACM SIGKDD知识发现和数据挖掘国际会议论文集。第727-736页。美国纽约州纽约市:ACM。
[43] Tsochantaridis I.,J.马赫。学习。第6号决议第1453页–(2005年)
[44] 内政部:10.1080/10556789908805759·Zbl 0973.90518号 ·doi:10.1080/10556789908805759
[45] Vapnik V.N.,《统计学习理论的本质》(1995年)·Zbl 0833.62008号 ·数字对象标识代码:10.1007/978-1-4757-2440-0
[46] Vapnik V.N.,统计学习理论(1998)·Zbl 0935.62007号
[47] Weston,J.和Watkins,C.1998年。”多类支持向量机”。伦敦大学皇家霍洛威分校计算机科学系。技术报告CSD-TR-98-04
[48] DOI:10.1016/S0167-8191(03)00021-8·doi:10.1016/S0167-8191(03)00021-8
[49] Zanni L.,J.Mach。学习。第7号决议第1467页–(2006年)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。