×

用于训练有界约束支持向量机的两种新的分解算法。 (英语) Zbl 1335.62105号

摘要:边界约束支持向量机(SVM)是一种先进的二进制分类模型。分解方法是目前训练支持向量机的主要方法之一,特别是当使用非线性核时。本文提出了两种新的有界约束SVM分解算法。将投影梯度算法和内点法相结合,有效地求解了二次型子问题。这两种算法的主要区别在于工作集的选择方式。第一种方法仅使用模型的一阶导数信息,以便简化。第二种方法除了梯度外,还将部分二阶信息融入到工作集选择过程中。两种算法在理论上都被证明是全局收敛的。将新算法与著名的包BSVM进行了比较。在多个公共数据集上的数值实验验证了所提方法的有效性。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统
68宽10 计算机科学中的并行算法
90立方厘米20 二次规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 亚松森A.、纽曼D.,加州大学欧文分校信息与计算机科学学院UCI机器学习知识库(2007年)网址://www。ics.uci.edu/mlearn/MLRepository.html。;
[2] Boser B.、Guyon I.、Vapnik V.A.,最佳边缘分类器的训练算法,第五届ACM计算学习理论研讨会论文集,ACM出版社,1992年,144-152。;
[3] Bottou L.,随机梯度下降示例,2007年,http://leon.bottou。org/projects/sgd。;
[4] Cortes C.,Vapnik V.,支持向量网络,机器学习,20,3,1995,273-297·Zbl 0831.68098号
[5] Franc V.,Sonnenburg S.,支持向量机的优化切割平面算法,ICML 08:第25届机器学习国际会议论文集,ACM出版社2008,320-327。;
[6] Gertz E.,Wright S.,面向对象的二次规划软件,ACM数学软件交易,29,2001,58-81·兹比尔1068.90586
[7] 谢聪,张凯,李春杰,多类支持向量机方法的比较,IEEE神经网络汇刊,2002年第13期,第415-425页。;
[8] 谢C.,Chang K.,Lin C.J.,Keerthi S.,Sundararajan S.,大规模线性SVM的双坐标下降方法,第25届机器学习国际会议论文集,ACM,2008,408-415。;
[9] 徐春伟,林春杰,支持向量机的一种简单分解方法,机器学习,46,1-3,2002,291{314.;}·Zbl 0998.68108号
[10] Joachims T.、SVMlight、,http://svmlight.joachims.org/。
[11] Joachims T.,在线性时间内训练线性SVM,ACM SIGKDD知识发现和数据挖掘国际会议,2006年,217-226。;
[12] Joachims T.、Finley T.、Yu C.N.,《结构化支持向量机的割平面训练》,机器学习,第77、1、2009、27-59页·Zbl 1235.68161号
[13] Joachims T.,Yu C.N.,通过切平面训练实现稀疏内核支持向量机,机器学习,欧洲机器学习会议专刊,76,2-3,2009,179-193·Zbl 1470.68123号
[14] Mangasarian O.,Musicant D.,支持向量机的连续超松弛,IEEE神经网络汇刊,10,5,1999,1032-1037。;
[15] Mangasarian O.,Musicant D.,拉格朗日支持向量机,机器学习研究杂志,1200161-177·Zbl 0997.68108号
[16] Mercer J.,正负型函数及其与积分方程理论的联系,伦敦皇家学会哲学学报,1909年·JFM 40.0408.02号文件
[17] Shalev-Shwartz S.,Singer Y.,Srebro N.,Cotter A.,Pegasos:SVM的原始估计次梯度解算器,数学规划,127,1,2011,3-30·Zbl 1211.90239号
[18] 孙伟业,袁玉霞,优化理论与方法:非线性规划,施普林格,纽约,美国,2006·邮编1129.90002
[19] Frieb T.,Cristianini N.,Campbell C.,《核-数据子算法:支持向量机的快速简单学习过程》,《第十五届机器学习国际会议论文集》,摩根·考夫曼出版社,1998年。;
[20] Vapnik V.,《统计学习理论的本质》,Springer-Verlag纽约公司,纽约州纽约市,美国1995年·Zbl 0833.62008号
[21] Vapnik V.,统计学习理论统计学习理论,威利-跨科学,1998年9月·Zbl 0935.62007号
[22] 袁国喜,何春华,林春杰,大尺度线性分类的最新进展,IEEE学报,1002012,2584-2603。;
[23] Zanni L.,Serafini T.,Zanghirati G.,在多处理器系统上训练大规模支持向量机的并行软件,《机械学习研究杂志》,720061467-1492·Zbl 1222.68341号
[24] Osuna E.、Freund R.、Girosi F.,《训练支持向量机:人脸检测的应用》,IEEE计算机学会计算机视觉和模式识别会议论文集,1997年,276-285。;
[25] Arnosti N.A.,Kalita J.K.,线性支持向量机的割平面训练,IEEE知识与数据工程汇刊,252013,1186-1190。;
[26] Platt J.-C.,使用序列最小优化快速训练支持向量机,收录于:B.Scholkopf,C.J.C.Burges,A.J.Smola(编辑),《核方法的进展——支持向量学习》,麻省理工出版社,1999年,185-208年。;
[27] Joachims T.,《使大规模SVM学习实用化》,收录于:B.Scholkopf,C.J.C.Burges,A.J.Smola(编辑),《核方法的进展——支持向量学习》,马萨诸塞州剑桥,麻省理工学院出版社,1998年。;
[28] Saunders C.、Stitson M.O.、Weston J.、Bottou L.、Scholkopf B.、Smola A.,支持向量机参考手册,英国埃格姆,伦敦大学皇家霍洛韦,技术报告,编号CSD-TR-98-03,1998年。;
[29] 田义杰,齐智强,朱晓川,石毅,刘晓华,用于模式分类的非并行支持向量机,IEEE Trans。控制论,44,7,2013,1067-1079。;
[30] 齐忠,田毅,石毅,拉皮亚克支持向量机的连续超松弛,IEEE神经网络与学习系统事务,DOI:10.1109/TNNLS.2014.2320738,2014。;
[31] 齐忠,田毅,石毅,用于分类的结构双支持向量机,基于知识的系统,43,2013,74-81。;
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。