×

LS-SVM的型号选择。应用于手写识别。 (英语) 兹比尔1187.68424

摘要:支持向量机(SVM)是一种功能强大的分类器,已成功应用于许多模式识别问题。它也被证明在手写识别领域表现良好。最小二乘支持向量机(LS-SVM)与支持向量机一样,基于边缘最大化原理,实现结构风险最小化。然而,它比SVM更容易训练,因为它只需要解决凸线性问题,而不需要像SVM那样解决二次问题。在本文中,我们建议使用经验误差准则对LS-SVM进行模型选择。手写字符识别实验表明了该分类器的有效性,并证明了模型选择提高了LS-SVM的泛化性能。

MSC公司:

68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Vapnik,V.N.,学习理论风险最小化原则,(神经信息处理系统进展,第4卷(1992),Morgan Kaufman:Morgan Koufman San Mateo,CA),831-838·Zbl 0137.10601号
[2] Vapnik,V.N.,《统计学习理论》(1998),威利出版社:威利纽约·Zbl 0934.62009号
[3] B.E.Boser,I.Guyon,V.Vapnik,最佳边缘分类器的训练算法,计算。学习。理论(1992)144-152。;B.E.Boser,I.Guyon,V.Vapnik,最佳边缘分类器的训练算法,计算。学习。理论(1992)144-152。
[4] 北卡罗来纳州克里斯蒂亚尼尼。;Shawe-Taylor,J.,《支持向量机导论》(2000),剑桥大学出版社:剑桥大学出版社
[5] 朔尔科普夫,B。;Smola,A.J.,《与内核一起学习》(2002),麻省理工学院出版社:麻省理学院出版社,剑桥
[6] 肖-泰勒,J。;Cristianini,N.,《模式分析的核心方法》(2004),剑桥大学出版社:剑桥大学出版社
[7] 苏肯斯,J.A.K。;Van Gestel,T。;De Brabanter,J。;De Moor,B。;Vandewalle,J.,最小二乘支持向量机(2002),《世界科学:世界科学新加坡》·Zbl 1003.68146号
[8] Van Gestel,T。;苏肯斯,J.A.K。;Baesens,B。;Viaene,S。;Vantheinen,J。;Dedene,G。;De Moor,B。;Vandewalle,J.,基准最小二乘支持向量机分类器,机器学习,54,1,5-32(2004)·Zbl 1078.68737号
[9] G.Wahba,Y.Lin,H.Zhang,支持向量机的广义近似交叉验证,或者,另一种看待边际量的方法,威斯康星大学统计系技术报告,1999年2月25日。;G.Wahba,Y.Lin,H.Zhang,支持向量机的广义近似交叉验证,或从另一个角度看类边缘量,技术报告,威斯康星大学统计系,1999年2月25日。
[10] T.S.Jaakkola,D.Haussler,概率核回归模型,摘自:人工智能与统计会议研讨会,1999年。;T.S.Jaakkola,D.Haussler,概率核回归模型,发表于:人工智能与统计会议研讨会,1999年。
[11] T.Joachims,高效估计SVM的泛化性能,载于:2000年国际机器学习会议,第431-438页。;T.Joachims,高效估计SVM的泛化性能,载于:机器学习国际会议,2000年,第431-438页。
[12] Opper,M。;Winther,O.,《高斯过程分类的平均场方法》(The Mean field methods for classification with Gaussian processes),(1998年神经信息处理系统进展会议II(1999),麻省理工学院出版社:麻省理理工学院剑桥出版社,马萨诸塞州),309-315
[13] Opper,M。;Winther,O.,Gaussian processes and SVM:mean field and leave-one-out,(Smola,A.J.;Bartlett,P.L.;Schölkopf,B.;Schurmans,D.,《大边缘分类器的进展》(2000),麻省理工学院出版社:麻省理学出版社剑桥,马萨诸塞州),311-326·Zbl 0988.68145号
[14] O.Chapelle,V.Vapnik,支持向量机的模型选择,摘自:神经信息处理系统的进展,1999年。;O.Chapelle,V.Vapnik,支持向量机的模型选择,收录于:神经信息处理系统的进展,1999年。
[15] Vapnik,V。;Chapelle,O.,支持向量机的误差期望界,神经计算。,12, 9 (2000)
[16] C.Gold,P.Sollich,用nystrom方法进行快速贝叶斯支持向量机参数调整,收录于:IJNN’05,2005年,第2820-2825页。;C.Gold,P.Sollich,用nystrom方法进行快速贝叶斯支持向量机参数调整,收录于:IJNN’05,2005年,第2820-2825页。
[17] 阿丹康,M.M。;Cheriet,M.,支持向量机模型选择中的优化资源,模式识别,40,3,953-963(2007)·Zbl 1119.68143号
[18] 沙佩尔,O。;Vapnik,V。;O.布斯克。;Mukherjee,S.,为支持向量机选择多个参数,机器学习,46,1,131-159(2002)·兹比尔0998.68101
[19] Duan,K。;Keerthi,S。;Poo,A.N.,调整SVM超参数的简单性能度量的评估,神经计算,51,41-59(2003)
[20] 钟,K.-M。;Kao,W.C。;王,L.-L。;孙,C.-L。;Lin,C.-J.,带RBF核的支持向量机的半径边界,神经计算。,15, 2643-2681 (2003) ·Zbl 1085.68123号
[21] 东北部阿亚特。;Cheriet,M。;Suen,C.Y.,支持向量机内核优化的自动模型选择,模式识别,38,10,1733-1745(2005)
[22] G.Cawley,加权最小二乘支持向量机基于Leave-on-out交叉验证的模型选择标准,载于:《2006年国际JCNN会议录》,加拿大温哥华,2006年7月。;G.Cawley,《加权最小二乘支持向量机基于Leave-on-out交叉验证的模型选择标准》,载于:《2006年国际JCNN会议录》,加拿大温哥华,2006年7月。
[23] 苏肯斯,J.A.K。;Vandwalle,J.,最小二乘支持向量机分类器,神经过程。莱特。,9, 3, 293-300 (1999) ·Zbl 0958.93042号
[24] 柳叶刀,G。;兰布雷希茨,A。;De Moor,B。;范德维尔,J。;Van Gestel,T。;Suykens,J.,最小二乘支持向量机分类器的贝叶斯框架,高斯过程和核fisher判别分析,神经计算。,15, 5, 1115-1148 (2002) ·Zbl 1003.68146号
[25] 郑晓峰,最小二乘支持向量机及其贝叶斯解释,技术报告,2004年6月。;郑晓峰,最小二乘支持向量机及其贝叶斯解释,技术报告,2004年6月。
[26] Ong,C.J。;楚·W。;Keerthi,S.S.,求解最小二乘支持向量机的改进共轭梯度法,IEEE Trans。神经网络,16,2,498-501(2005)
[27] Chua,K.S.,大型最小二乘支持向量机分类器的高效计算,模式识别快报。,24, 75-80 (2003) ·Zbl 1053.68082号
[28] L.Lukas,J.A.K.Suykens,J.Vandewalle,稀疏最小二乘支持向量机分类器,收录于:欧洲人工神经网络研讨会,2000年。;L.Lukas,J.A.K.Suykens,J.Vandewalle,稀疏最小二乘支持向量机分类器,收录于:欧洲人工神经网络研讨会,2000年。
[29] 考利,G.C。;Talbot,N.L.C.,《改进的稀疏最小二乘支持向量机》,神经计算,481025-1031(2002)·兹比尔1006.68767
[30] de Kruif,B.J。;deVries,T.J.,最小二乘支持向量机中的剪枝误差最小化,IEEE Trans。神经网络,14696-702(2003)
[31] 林,C。;李毅。;Zhang,W.,改进的稀疏最小二乘支持向量机分类器,神经计算,691655-1658(2006)
[32] Jiao,L。;Bo,L。;Wang,L.,最小二乘支持向量机的快速稀疏逼近,IEEE Trans。神经网络,18,3,685-697(2007)
[33] 考利,G.C。;Talbot,N.L.C.,稀疏最小二乘支持向量机的快速精确删去交叉验证,神经网络,171467-1475(2004)·Zbl 1073.68072号
[34] Baudat,G。;Anouar,F.,使用核的特征向量选择和投影,神经计算,55,31-38(2003)
[35] Bishop,C.M.,《模式识别的神经网络》(1995),牛津大学出版社:牛津大学出版社,英国牛津
[36] Platt,J.,支持向量机的概率输出以及与正则化似然方法的比较,(Smola,A.J.;Bartlett,P.;Schoelkopf,B.;Schuurmans,D.,《大边缘分类器的进展》(2000),61-74
[37] Bengio,Y.,基于梯度的超参数优化,神经计算。,12, 8, 1889-1900 (2000)
[38] LeCun,Y。;底部,L。;本吉奥,Y。;Haffner,P.,《基于梯度的学习应用于文档识别》,Proc。IEEE,86,2278-2324(1998)
[39] M.Moreira,E.Mayoraz,《改进的带修正分类器的两两耦合分类》,载于:ECML,1998年,第160-171页。;M.Moreira,E.Mayoraz,《改进的带修正分类器的两两耦合分类》,载于:ECML,1998年,第160-171页。
[40] 考利,G。;Talbot,N.,《通过超参数的贝叶斯正则化防止模型选择过程中的过度拟合》,J.Mach。学习。Res.,8,841-861(2007)·Zbl 1222.68160号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。