×

多类别近端支持向量机分类器。 (英语) 兹比尔1101.68758

小结:给定一个数据集,其中每个元素都用一个(k)标签标记,我们用一个非常快速的算法构造了一个(k\)类别近端支持向量机(PSVM)分类器。近似支持向量机及其相关方法可以解释为应用于分类问题的岭回归。大量的计算结果表明,PSVM对两类分类问题的有效性,其中分离平面的构建时间比传统支持向量机短两个数量级。当PSVM应用于包含两个以上类的问题时,为了利用其快速性能,众所周知的从最新开始的方法是一种自然的选择。然而,这种“一选一”的方法有一个缺点。由此产生的两类问题通常非常不平衡,在某些情况下会导致表现不佳。为了解决这个问题,我们提出了平衡\(k\)类和对PSVM进行新的牛顿精化修改。计算结果表明,这两个修改保持了PSVM的速度,同时通常会导致测试集比普通PSVM一对一应用程序有显著改进。改进后的方法比使用传统SVM公式的其他自测试方法快得多,同时仍能提供可比较的测试集正确性。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Anderson,E.,Bai,Z.,Bischof,C.,Blackford,S.,Demmel,J.,Dongarra,J.、Du Croz,J.和Greenbaum,A.,Hammarling,S.、McKenney,A.和Sorensen,D.(1999)。LAPACK用户指南,第三版。宾夕法尼亚州费城:SIAM。http://www.netlib.org/lapack/。 ·Zbl 0934.65030号
[2] Bennett,K.P.和Mangasarian,O.L.(1993)。通过线性规划实现多类别分离。优化方法和软件,3,27–39·doi:10.1080/10556789408805554
[3] Bottou,L.、Cortes,C.、Denker,J.、Drucker,H.、Guyon,I.、Jackel,L.,LeCun,Y.、Muller,U.、Sackinger,E.、Simard,P.和Vapnik,V.(1994)。分类器方法的比较:手写数字识别的案例研究。模式识别国际会议(第77-87页)。IEEE计算机学会出版社。
[4] Bradley,P.S.&Mangasarian,O.L.(2000)。通过线性支持向量机进行大规模数据识别。优化方法和软件,13,1-10。ftp://ftp.cs.wisc.edu/math-prog/tech-reports/98-03.ps。 ·Zbl 0986.90085号 ·doi:10.1080/10556780008805771
[5] Bredensteiner,E.J.和Bennett,K.P.(1999)。基于支持向量机的多类别分类。计算优化与应用,12,53–79·Zbl 1040.90574号 ·doi:10.1023/A:1008663629662
[6] Burges,C.J.C.(1998年)。模式识别支持向量机教程。数据挖掘和知识发现,2:2,121–167·Zbl 05470543号 ·doi:10.1023/A:1009715923555
[7] Chen,C.和Mangasarian,O.L.(1996)。混合错误分类最小化。计算数学进展,5:2,127–136。ftp://ftp.cs.wisc.edu/math-prog/tech-reports/95-05.ps。 ·兹比尔0857.68088 ·doi:10.1007/BF02124738
[8] Cherkassky,V.&Mulier,F.(1998年)。从数据中学习——概念、理论和方法。纽约:JohnWiley&Sons·Zbl 0960.6202号
[9] CPLEX Optimization Inc.,内华达州Incline Village。(1992). 使用CPLEX(TM)线性优化器和CPLEX混合整数优化器(2.0版)。
[10] Dasgupta,S.(2000年)。随机投影实验。《人工智能中的不确定性:第十六届会议记录》(UAI-2000)(第143-151页)。加利福尼亚州旧金山:Morgan Kaufmann Publishers。
[11] Evgeniou,T.、Pontil,M.和Poggio,T.(2000)。正则化网络和支持向量机。A.Smola、P.Bartlett、B.Schölkopf和D.Schurmans(编辑),《大边距分类器的进展》(第171-203页)。马萨诸塞州剑桥:麻省理工学院出版社·Zbl 0939.68098号
[12] 法奇尼,F.(1995)。最小化SC1功能和马拉托斯效应。运营研究快报,17,131–137·Zbl 0843.90108号 ·doi:10.1016/0167-6377(94)00059-F
[13] Fung,G.和Mangasarian,O.L.(2001)。近距离支持向量机分类器。F.Provost&R.Srikant(编辑),《KDD-2001:知识发现和数据挖掘学报》(第77-86页)。加利福尼亚州旧金山,纽约:计算机协会。ftp://ftp.cs.wisc.edu/pub/dmi/tech-reports/01-02.ps·兹比尔1101.68758
[14] Furey,T.S.、Duffy,N.、Cristianini,N.,Bednarski,D.、Schummer,M.和Haussler,D.(2000)。使用微阵列表达数据支持向量机分类和验证角鲨组织样本。生物信息学,16:10,906–914·doi:10.1093/bioinformatics/16.10.906
[15] Van Gestel,T.、Suykens,J.、Lanckriet,G.、Lambrechts,A.、De Moor,B.和Vandwalle,J.(2002年)。多类ls-svms:调节输出和编码解码方案。《神经处理快报》,15:1,45-48·Zbl 1008.68739号 ·doi:10.1023/A:1013815310229
[16] Hiriart-Urruti,J.-B.,Strodiot,J.J.,&Nguyen,V.H.(1984)。CL1数据问题的广义hessian矩阵和二阶最优性条件。应用数学与优化,11,43–56·Zbl 0542.49011号 ·doi:10.1007/BF0142169
[17] Hoerl,A.E.&Kennard,R.W.(1952年)。非正交问题的有偏估计。技术计量学,12,55–67·Zbl 0202.17205号 ·数字对象标识代码:10.2307/1267351
[18] 徐春伟、林春杰(2001)。多类支持向量机方法的比较。http://www.csie.ntu.edu.tw/cjlin/papers.html。
[19] Kanzow,C.、Qi,H.和Qi,L.(2001)。关于线性规划的最小范数解。汉堡大学预印本。《优化理论与应用杂志》即将出版。http://www.math.uni-hamburg.de/home/kanzow/paper.html。 ·Zbl 1043.90046号
[20] Lee,Y.-J.和Mangasarian,O.L.(2001)。RSVM:简化支持向量机。第一届SIAM国际数据挖掘会议记录,芝加哥,4月5-7日,CD-ROM。网址://ftp.cs.wisc.edu/pub/dmi/tech-reports/00-07.ps。
[21] Lee,Y.-J.和Mangasarian,O.L.(2001)。SSVM:平滑支持向量机。计算优化与应用,20,5–22。威斯康星大学数据挖掘研究所,技术报告99-03。ftp://ftp.cs.wisc.edu/pub/dmi/tech-reports/99-03.ps。 ·Zbl 1017.90105号 ·doi:10.1023/A:101125321374
[22] Mangasarian,O.L.(1994)。非线性规划。宾夕法尼亚州费城:SIAM·Zbl 0833.90108号
[23] Mangasarian,O.L.(2000)。广义支持向量机。A.Smola、P.Bartlett、B.Schölkopf和D.Schurmans(编辑),《大边距分类器的进展》(第135–146页)。马萨诸塞州剑桥:麻省理工学院出版社。ftp://ftp.cs.wisc.edu/math-prog/tech-reports/98-14.ps。
[24] MATLAB软件。(1994–2001). 用户指南。The MathWorks,Inc.,马萨诸塞州纳蒂克,邮编01760。http://www.mathworks.com。
[25] Murphy,P.M.和Aha,D.W.(1992年)。UCI机器学习库。网址:http://www.ics.uci.edu/\(\sim\)mlearn/MLRepository.html。
[26] Polyak,B.T.(1987)。优化简介。纽约:Optimization Software,Inc.,出版部·兹比尔0708.90083
[27] Rockafellar,R.T.(1970)。普林斯顿凸分析。新泽西:普林斯顿大学出版社·Zbl 0193.18401号
[28] Roth,V.和Steinhage,V.(1999年)。基于核函数的非线性判别分析。S.A.Solla、T.K.Leen和K.-R.Mueller(编辑),《神经信息处理系统的进展——NIPS*99》(第568-574页)。
[29] Schölkopf,B.、Mika,S.、Burges,C.J.C.、Knirsch,P.、Müller,K.-R.、Rätsch,G.和Smola,A.J.(1999)。基于内核的方法中的输入空间与特征空间。IEEE神经网络汇刊,101000–1017·数字对象标识代码:10.1109/72.788641
[30] Smola,A.J.和Schölkopf,B.(2000年)。机器学习的稀疏贪婪矩阵近似。程序。第17届国际机器学习大会(第911–918页)。加利福尼亚州旧金山:Morgan Kaufmann。
[31] Suykens,J.A.K.、Van Gestel,T、De Brabanter,J.、De Moor,B.和Vandewalle,J.(2002)。最小二乘支持向量机。新加坡:世界科学出版公司·Zbl 1017.93004号
[32] Suykens,J.A.K.、Lukas,L.、Van Dooren,P.、De Moor,B.和Vandewalle,J.(1999)。最小二乘支持向量机分类器:一种大规模算法。欧洲电路理论与设计会议,ECCTD’99(第839-842页)。意大利斯特雷萨。
[33] Suykens,J.A.K.和Vandewalle,J.(1999)。最小二乘支持向量机分类器。《神经处理快报》,9:3,293–300·Zbl 05467879号 ·doi:10.1023/A:1018628609742
[34] Suykens,J.A.K.和Vandewalle,J.(1999)。多类最小二乘支持向量机。1999年国际JCNN会议记录(第CD-ROM页)。华盛顿特区·Zbl 0958.93042号
[35] Tikhonov,A.N.和Arsenin,V.Y.(1977年)。错误问题的解决方案。纽约:John Wiley&Sons·Zbl 0354.65028号
[36] Vapnik,V.N.(2000)。统计学习理论的本质。纽约:斯普林格·兹比尔0934.62009
[37] Weston,J.和Watkins,C.(1998年)。多类支持向量机。技术报告csd-tr-98-04,英国萨里郡伦敦大学皇家霍洛韦分校。
[38] Williams,C.K.I.和Seeger,M.(2000)。使用Nyström方法加速内核机器。神经信息处理系统进展(NIPS2000)。http://www.kernel-machines.org。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。