×

一种新的平滑SVM算法,具有严格的误差界和有效的降维技术。 (英语) Zbl 1311.90090号

总结:本文讨论了利用平滑方法训练支持向量机的二次收敛算法。通过平滑SVM公式的目标函数,Y.-J.李O.L.Mangasarian公司[计算优化应用20,第1期,第5–22页(2001年;Zbl 1017.90105号)]提出了一种称为SSVM的算法,并证明了对于较大的正平滑参数,新的平滑问题与原问题之间的误差界为(O(frac{1}{p})。我们通过平滑SVM公式的最优性条件导出了一种新方法,并证明了误差界为(O(frac{1}{p^2}),这比Lee和Mangasarian的结果要好[loc.cit.]。基于SMW恒等式和迭代更新Hessian,提出了一些提升技巧,用于求解牛顿方程,降低了简化光滑SVM算法的计算复杂度。许多实验结果表明,所提出的平滑方法与SSVM具有相同的精度,在本文中,SSVM的误差界也被收紧到了O(frac{1}{p^2}),并且所提出的提升技巧对于RSVM解决大规模问题是有效的。

MSC公司:

90C20个 二次规划
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Chang,C.C.,Lin,C.J.:LIBSVM:支持向量机库。ACM事务处理。智力。系统。Technol公司。2, 1-27 (2011). 网址:http://www.csie.ntu.edu.tw/cjlin/libsvm·doi:10.145/1961189.1961199
[2] Chapelle,O.:《原始支持向量机》(2006)。http://www.kyb.tuebingen.mpg.de/bs/people/chapelle/primal/
[3] Chapelle,O.:在原始语言中训练支持向量机。神经计算。19(5), 1155-1178 (2007) ·Zbl 1123.68101号 ·doi:10.1162/neco.2007.19.5.1155
[4] Clarke,F.H.:优化和非光滑分析。Willey,纽约(1983)·Zbl 0582.49001号
[5] Fan,R.E.,Lin,C.J.:LIBSVM数据(2010)。网址:http://www.csie.ntu.edu.tw/cjlin/libsvmtools/datasets/
[6] Ferris,M.C.,Munson,T.S.:半光滑支持向量机。数学。程序。,序列号。B 101185-204(2004)·Zbl 1076.90041号
[7] Fine,S.,Scheinberg,K.:使用低阶核表示的高效SVM训练。J.马赫。学习。第2号决议,243-264(2001)·Zbl 1037.68112号
[8] Fletcher,R.,Zanghirati,G.:二进制分离和训练支持向量机。Acta Numer公司。19, 121-158 (2010) ·Zbl 1238.68123号 ·doi:10.1017/S0962492910000024
[9] Golub,G.H.,Loan,C.F.V.:矩阵计算。约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[10] Ho,T.K。;Kleinberg,E.M.,构建任意复杂度的可投影分类器,奥地利维也纳
[11] Joachims,T.:In:SVMlight,支持向量机(1998)。http://www.cs.cornell.edu/people/tj/svm_light网站/
[12] 约阿希姆斯,T。;Schölkopf,B.(编辑);Burges,C.(编辑);Smola,A.(编辑),《使大规模SVM学习实用化》,169-184(1999),剑桥
[13] Keerthi,S.S.,Chapelle,O.,Decoste,D.:构建支持向量机,降低分类器复杂性。J.马赫。学习。第7号决议,1493-1515(2006年)·Zbl 1222.68230号
[14] Keerthi,S.S.、Shevade,S.K.、Bhattacharyya,C.、Murthy,K.R.K.:改进Platt的SMO算法,用于SVM分类器设计。神经计算。13, 637-649 (2001) ·Zbl 1085.68629号 ·doi:10.1162/089976601300014493
[15] Lee,Y.J.,Huang,S.Y.:简化支持向量机:统计理论。IEEE传输。神经网络。18(1), 1-13 (2007) ·doi:10.1109/TNN.2006.883722
[16] Lee,Y.J。;Mangasarian,O.L.,RSVM:简化支持向量机,1-17(2001),芝加哥
[17] Lee,Y.J.,Mangasarian,O.L.:SSVM:用于分类的平滑支持向量机。计算。最佳方案。申请。20(1), 5-22 (2001) ·Zbl 1017.90105号 ·doi:10.1023/A:101125321374
[18] Lin,C.J.:关于支持向量机分解方法的收敛性。IEEE传输。神经网络。12, 1288-1298 (2001) ·Zbl 1012.94501号 ·doi:10.1109/72.963765
[19] Lin,C.J.:无任何假设的SMO算法的渐近收敛性。IEEE传输。神经网络。13248-250(2002年)·doi:10.1109/72.977319
[20] Lin,K.M.,Lin,C.J.:关于简化支持向量机的研究。IEEE传输。神经网络。14(6), 1449-1459 (2003) ·doi:10.1109/TNN.2003.820828
[21] Mangasarian,O.L。;Smola,A.J.(编辑);Bartlett,P.(编辑);Schökopf,B.(编辑);Schuurmans,D.(编辑),广义支持向量机,135-146(2000),剑桥
[22] Mangasarian,O.L.,Musicant,D.R.:支持向量机的连续过度松弛。IEEE传输。神经网络。10(5), 1032-1037 (1999) ·数字对象标识代码:10.1109/72.788643
[23] Mangasarian,O.L.,Musicant,D.R.:拉格朗日支持向量机。J.马赫。学习。第161-177号决议(2001年)·Zbl 0997.68108号
[24] Melacci,S.,Belkin,M.:在原始数据中训练的拉普拉斯支持向量机。J.马赫。学习。第12号决议,1149-1184(2011年)·Zbl 1280.68182号
[25] 普拉特,J.C。;Schölkopf,B.(编辑);Burges,C.J.(编辑);Smola,A.J.(编辑),使用顺序最小优化快速训练支持向量机,185-208(1999),剑桥
[26] Schölkopf,B.,Smola,A.J.:使用内核学习-支持向量机,正则化,优化及其他。麻省理工学院出版社,剑桥(2002)
[27] Shalev-Shwartz,S.、Singer,Y.、Srebro,N.、Cotter,A.:Pegasos:SVM的原始估计子梯度解算器。数学。程序。127(1), 3-30 (2011) ·Zbl 1211.90239号 ·doi:10.1007/s10107-010-0420-4
[28] Vapnik,V.N.:统计学习理论概述。IEEE传输。神经网络。10(5), 988-999 (1999) ·doi:10.1109/72.788640
[29] Vapnik,V.N.:统计学习理论的本质。施普林格,纽约(2000年)·兹比尔0934.62009 ·doi:10.1007/978-1-4757-3264-1
[30] 周,S.,刘,H.,叶,F.,周,L.:一种新的迭代算法训练SVM。最佳方案。方法软件。24(6), 913-932 (2009) ·Zbl 1237.90178号 ·网址:10.1080/10556780902867906
[31] 周,S.,刘,H.,周,L.,叶,F.:半光滑牛顿支持向量机。模式识别。莱特。28, 2054-2062 (2007) ·doi:10.1016/j.patrec.2007.06.010
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。