×

一种新的稀疏最小二乘支持向量机。 (英语) Zbl 1299.68083号

摘要:最小二乘支持向量机(LS-SVM)的解存在不可解析性问题。前向最小二乘近似(FLSA)是一种带有最小二乘损失函数的贪婪近似算法。本文提出了一种新的支持向量机,其训练算法为FLSA,即前向最小二乘近似SVM(FLSA-SVM)。这种新的FLSA-SVM的一个主要新颖之处是,支持向量的数量是用于调整泛化能力和训练成本之间的折衷的正则化参数。FLSA-SVM还可以检测输入Gramian矩阵向量中的线性相关性。这些属性共同导致了其极度稀疏性。在基准数据集上进行的实验表明,与各种SVM算法相比,FLSA-SVM算法非常紧凑,同时保持了竞争性的泛化能力。

MSC公司:

68T05型 人工智能中的学习和自适应系统
65K10码 数值优化和变分技术
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] J.A.K.Suykens、T.V.Gestel、J.Vandwalle和B.D.Moor,“PCA分析的支持向量机公式及其内核版本”,IEEE神经网络汇刊,第14卷,第2期,第447-450页,2003年·doi:10.1109/TNN.2003.809414
[2] J.A.K.Suykens和J.Vandewalle,“最小二乘支持向量机分类器”,《神经处理快报》,第9卷,第3期,第293-300页,1999年·Zbl 0958.93042号 ·doi:10.1023/A:1018628609742
[3] V.Vapnik,《统计学习理论的本质》,Springer,纽约州纽约市,美国·Zbl 0833.62008号
[4] V.Vapnik,统计学习理论,John Wiley&Sons,美国纽约州纽约市,1998年·Zbl 0935.62007号
[5] J.A.K.Suykens、L.Lukas、P.V.Dooren、B.D.Moor和J.Vandewalle,“最小二乘支持向量机分类器:大规模算法”,《欧洲电路理论与设计会议论文集》(ECCTD’99),第839-842页,意大利斯特雷萨,1999年9月。
[6] T.V.Gestel,J.A.K.Suykens,B.Baesens等人,“基准最小二乘支持向量机分类器”,《机器学习》,第54卷,第1期,第5-32页,2004年·Zbl 1078.68737号 ·doi:10.1023/B:MACH.0000008082.80494.e0
[7] W.Chu、C.J.Ong和S.S.Keerthi,“最小二乘支持向量机解的改进共轭梯度法”,《IEEE神经网络汇刊》,第16卷,第2期,第498-501页,2005年·doi:10.1109/TNN.2004.841785
[8] S.S.Keerthi、S.K.Shevade、C.Bhattacharyya和K.R.K.Murthy,“对支持向量机分类器设计的Platt SMO算法的改进”,《神经计算》,第13卷,第3期,第637-6492001页·Zbl 1085.68629号 ·doi:10.1162/089976601300014493
[9] J.A.K.Suykens、J.de Brabanter、L.Lukas和J.Vandewalle,“加权最小二乘支持向量机:鲁棒性和稀疏近似”,《神经计算》,第48卷,第1期,第85-105页,2002年·Zbl 1006.68799号 ·doi:10.1016/S0925-2312(01)00644-0
[10] B.J.de Kruif和T.J.A.de Vries,“最小二乘支持向量机中的剪枝误差最小化”,《IEEE神经网络汇刊》,第14卷,第3期,第696-7022003页·doi:10.1109/TNN.2003.810597
[11] X.Zeng和X.W.Chen,“稀疏最小二乘支持向量机的基于SMO的剪枝方法”,《IEEE神经网络汇刊》,第16卷,第6期,第1541-1546页,2005年·doi:10.1109/TNN.2005.852239
[12] L.Jiao、L.Bo和L.Wang,“最小二乘支持向量机的快速稀疏近似”,IEEE神经网络汇刊,第18卷,第3期,第685-697页,2007年·doi:10.1109/TNN.2006.889500
[13] K.Li、J.X.Peng和G.W.Irwin,“快速非线性模型识别方法”,《IEEE自动控制汇刊》,第50卷,第8期,第1211-1216页,2005年·Zbl 1365.93104号 ·doi:10.1109/TAC.2005.852557
[14] C.J.C.Burges,“模式识别支持向量机教程”,《数据挖掘与知识发现》,第2卷,第2期,第121-167页,1998年·Zbl 05470543号 ·doi:10.1023/A:1009715923555
[15] N.Cristianini和J.Shawe-Taylor,《支持向量机和其他基于内核的学习方法简介》,剑桥大学出版社,纽约州纽约市,美国,2000年·Zbl 0994.68074号
[16] R.Fletcher,《优化的实用方法》,John Wiley&Sons出版社,美国纽约州纽约市,1987年·Zbl 0905.65002号
[17] C.Saunders、A.Gammerman和V.Vovk,“双变量岭回归学习算法”,载于《第十五届机器学习国际会议论文集》(ICML’98),第515-521页,Morgan Kaufmann,1998年。
[18] S.Mika、G.Ratsch和K.Muller,“核fisher算法的数学规划方法”,《神经信息处理系统进展》,第591-597页,2001年。
[19] T.Gestel、J.A.K.Suykens、G.Lanckriet、A.Lambrechts、B.Moor和J.Vandwalle,“用于最小二乘支持向量机分类器、高斯过程和核fisher判别分析的贝叶斯框架”,《神经计算》,第14卷,第5期,第1115-11472002页·Zbl 1003.68146号 ·doi:10.1162/089976602753633411
[20] X.Xia、K.Li和G.Irwin,“最优稀疏最小二乘支持向量机的改进训练”,载于第17届世界大会论文集国际自动控制联合会(IFAC'08),韩国首尔,2008年7月·Zbl 1003.68146号 ·doi:10.1162/089976602753633411
[21] C.Lawson和R.Hanson,“解决最小二乘问题”,收录于《自动计算中的Prentice-Hall系列》,Prentice Hall,Englewood Cliffs,美国新泽西州,1974年·Zbl 0860.65028号
[22] S.Chen、S.Billings和W.Luo,“正交最小二乘法及其在非线性系统辨识中的应用”,《国际控制杂志》,第50卷,第5期,第1873-1896页,1989年·Zbl 0686.93093号 ·网址:10.1080/00207178908953472
[23] S.Chen、C.F.N.Cowan和P.M.Grant,“径向基函数网络的正交最小二乘学习算法”,IEEE神经网络学报,第2卷,第2期,第302-309页,1991年·数字对象标识代码:10.1109/72.80341
[24] S.Chen和J.Wigger,“高效子集模型选择的快速正交最小二乘算法”,《IEEE信号处理汇刊》,第43卷,第7期,第1713-1715页,1995年·数字对象标识代码:10.1109/78.398734
[25] O.L.Mangasarian和D.R.Musicant,“支持向量机的连续过度松弛”,《IEEE神经网络汇刊》,第10卷,第5期,第1032-1037页,1999年·数字对象标识代码:10.1109/72.788643
[26] K.Li、J.X.Peng和E.Bai,“非线性动态系统辨识的两阶段算法”,《自动化》,第42卷,第7期,第1189-1197页,2006年·Zbl 1117.93314号 ·doi:10.1016/j.automatica.2006.03.004
[27] S.Fahlman和C.Lebiere,“级联相关学习架构”,摘自《神经信息处理系统2的进展》,D.S.Touretzky,Ed.,1990年。
[28] C.Chang和C.Lin,“LIBSVM:支持向量机库”,《软件》,第80卷,第604-611页,2001年,网址:http://www.csie.ntu.edu.tw/cjlin/libsvm/。
[29] K.Pelckmans、J.Suykens、T.van Gestel等人,“LSSVMlab:最小二乘支持向量机的matlab/C工具箱”,见《教程》,比利时鲁汶KULeuven-ESAT,2002年。
[30] J.Garcke、M.Griebel和M.Thess,“稀疏网格数据挖掘”,《计算》,第67卷,第3期,第225-253页,2001年·Zbl 0987.62045号 ·数字对象标识代码:10.1007/s006070170007
[31] L.Breiman,“弧分类器(作者进行了讨论和反驳)”,《统计年鉴》,第26卷,第3期,第801-849页,1998年·Zbl 0934.62064号 ·doi:10.1214/aos/1024691079
[32] S.Chen、X.Hong和C.J.Harris,“稀疏核密度估计的基于回归的D-最优实验设计”,《神经计算》,第73卷,第4-6期,第727-739页,2010年·Zbl 05721268号 ·doi:10.1016/j.neucom.2009.11.002
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。