×

一种用于非线性SVM的快速梯度上升学习算法。 (英语) Zbl 1298.68217号

摘要:我们提出了一种包含启发式参数的精细梯度提升方法来解决非线性SVM的对偶问题。为了更好地调整到特定的训练序列,提出的改进包括使用启发式建立的权重来纠正在特征空间中进化的学习算法的每个步骤的搜索方向。我们提出了三种计算修正权重的变体,并在论文的最后部分对其有效性进行了实验分析。测试表明,该算法具有良好的收敛性能,而且,与Platt的SMO算法相比,该改进算法具有更高的收敛速度。实验分析旨在得出识别率和泛化能力的结论。SVM的学习阶段涉及从高斯重划分和WINE和WDBC数据集随机生成的线性可分离样本。通过对来自同一类的新的线性/非线性可分离数据进行多次测试,评估了人工数据的泛化能力。测试表明,人工数据集上的识别率很高(约97%),而WDBC数据集的识别率更高。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Vapnik,V.,《统计学习理论的本质》(1995),纽约州纽约市,美国:斯普林格,纽约州,美国·Zbl 0833.62008号
[2] Vapnik,V.,《统计学习理论》(1998),美国纽约州纽约市:John Wiley&Sons,美国纽约市·Zbl 0935.62007号
[3] Abe,S.,用于模式分类的支持向量机,模式识别进展(2010),英国伦敦:Springer,London,UK·Zbl 1191.68549号 ·doi:10.1007/978-1-84996-098-4
[4] 肖-泰勒,J。;Cristianini,N.,《支持向量机和其他基于内核的学习方法》(2000),英国剑桥:剑桥大学出版社,英国剑桥
[5] Osuna,E。;弗伦德,R。;Girosi,F.,支持向量机的改进训练算法,第七届IEEE信号处理神经网络研讨会论文集(NNSP’97)
[6] Chien,L.I.-J。;Chang,C.-C。;Lee,Y.-J.,约简支持向量机的约简集选择变量方法,信息科学与工程杂志,26,1,183-196(2010)·Zbl 1238.68120号
[7] Lee,Y.-J。;Mangasarian,O.L.,SSVM:用于分类、计算优化和应用的平滑支持向量机,20,1,5-22(2001)·Zbl 1017.90105号 ·doi:10.1023/A:101125321374
[8] 曹立杰。;Keerthi,S.S。;Ong,C.J。;乌瓦拉杰,P。;傅晓杰。;Lee,H.P.,为快速训练支持向量机开发并行序列最小优化,神经计算,70,1-3,93-104(2006)·doi:10.1016/j.neucom.2006.05.007
[9] 考利,G.C。;Talbot,N.L.C.,改进的稀疏最小二乘支持向量机,神经计算,481025-1031(2002)·Zbl 1006.68767号 ·doi:10.1016/S0925-2312(02)00606-9
[10] 李,C.-H。;Ho,H.-H。;Liu,Y.-L。;林,C.-T。;郭,B.-C。;Taur,J.-S.,《选择归一化核函数参数以支持向量机的自动方法》,《信息科学与工程杂志》,28,1,1-15(2012)
[11] Joachims,T.,《使大规模SVM学习实用化》,核方法的进展——支持向量学习,41-56(1998)
[12] 苏肯斯,J.A.K。;de Brabanter,J。;卢卡斯,L。;Vandewalle,J.,加权最小二乘支持向量机:鲁棒性和稀疏近似,神经计算,48,85-105(2002)·Zbl 1006.68799号 ·doi:10.1016/S0925-2312(01)00644-0
[13] Rueping,S.,mySVM:另一种支持向量机
[14] Alpaydin,E.,《机器学习导论》(2004),美国马萨诸塞州剑桥市:麻省理工学院出版社
[15] Laskov,P.,训练支持向量机的可行方向分解算法,机器学习,46,1-3,315-349(2002)·Zbl 1050.68125号 ·doi:10.1023/A:1012479116909
[16] 沙列夫·施瓦茨,S。;辛格,Y。;Srebro,N.,Pegasos:SVM的原始估计亚GrAdient sOlver,第24届国际机器学习会议论文集(2007年国际机器学习学会)·数字对象标识代码:10.1145/1273496.1273598
[17] 尤戈夫,V。;Kumazava,I.,基于两阶段SVM训练的在线提升算法,ISRN信号处理,12(2012)
[18] 州,L。;科西亚努,C。;Mircea,M.,《提高SVM学习泛化能力的启发式尝试》,第13届ACIS软件工程、人工智能、网络和并行/分布式计算国际会议论文集
[19] Cocianu,C.-L。;州,L。;Vlamos,P.,《学习支持向量机的新方法》,第六届软件和数据库技术国际会议论文集(ICSOFT’11)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。