×

在内部点方法中使用迭代线性解算器生成支持向量机。 (英语) Zbl 1208.90184号

摘要:本文研究支持向量机分类器的生成,以解决机器学习中的模式识别问题。提出了一种基于内点法的凸二次规划方法。该内点法使用线性预处理共轭梯度法和一个新的预处理器来计算前一个迭代。通过将面向对象软件包OOQP应用于问题结构,开发了一个实现。给出了数值结果,并讨论了计算经验。

MSC公司:

90摄氏51度 内部点方法
90C20个 二次规划
90 C90 数学规划的应用
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Alvira,M.,Rifkin,R.:人脸检测中snow和svms的经验比较。A.I.备忘录2001-004,麻省理工学院生物与计算学习中心,马萨诸塞州剑桥(2001)
[2] Anderson,E.,Bai,Z.,Bischof,C.,Demmel,J.,Dongarra,J.、Du Croz,J.和Greenbaum,A.、Hammarling,S.、McKenney,A.、Ostrouchov,S.和Sorensen,D.:LAPACK用户指南。SIAM,费城(1992)·Zbl 0843.65018号
[3] Bach,F.R.,Jordan,M.I.:核方法的预测低阶分解。载于:ICML'05:第22届国际机器学习大会论文集,第33-40页。ACM出版社,纽约(2005)
[4] Blackford,L.S.、Demmel,J.、Dongarra,J.,Duff,I.、Hammarling,S.、Henry,G.、Heroux,M.、Kaufman,L.、Lumsdaine,A.、Petitet,A.、Pozo,R.、Remington,K.、Whaley,R.C.:更新的基本线性代数子程序集(BLAS)。ACM事务处理。数学。柔软。28, 135–151 (2002) ·Zbl 1070.65520号 ·数字对象标识代码:10.1145/567806.567807
[5] Bottou,L.:LaSVM。http://leon.bottou.org/projects/lasvm/
[6] Burges,C.J.C.:模式识别支持向量机教程。数据最小知识。发现。2, 121–167 (1998) ·doi:10.1023/A:1009715923555
[7] CBCL生物与计算学习中心。http://cbcl.mit.edu/projects/cbcl/
[8] Cristianini,N.,Shawe-Taylor,J.:支持向量机简介。剑桥大学出版社,剑桥(2000)·Zbl 0994.68074号
[9] Dongarra,J.:基本线性代数子程序技术论坛标准。国际期刊高绩效应用。超级计算机。16, 1–111 (2002), 115–199 ·数字对象标识代码:10.1177/109434020260160101
[10] Drineas,P.,Mahoney,M.W.:关于NyströM方法,用于近似克矩阵以改进基于核的学习。J.马赫。学习。第6号决议,2153–2175(2005)·Zbl 1222.68186号
[11] Fan,R.-E.,Chen,P.-H.,Lin,C.-J.:使用二阶信息训练支持向量机的工作集选择。J.马赫。学习。1889-1918年第6号决议(2005年)·Zbl 1222.68198号
[12] Ferris,M.C.,Munson,T.S.:大规模支持向量机的内点方法。SIAM J.Optim公司。13, 783–804 (2003) ·Zbl 1039.90092号 ·doi:10.1137/S1052623400374379
[13] Ferris,M.C.,Munson,T.S.:半光滑支持向量机。数学。程序。101, 185–204 (2004) ·Zbl 1076.90041号
[14] Fine,S.,Scheinberg,K.:使用低阶核表示的高效SVM训练。J.马赫。学习。第2号决议,243-264(2001年)·Zbl 1037.68112号 ·doi:10.1162/15324430260185619
[15] Fletcher,R.:最优化的实用方法。约束优化,第2卷。威利,纽约(1981)·兹伯利0474.65043
[16] Gertz,E.M.,Griffin,J.D.:大型数据集的支持向量机分类器,技术备忘录ANL/MCS-TM-289,阿贡国家实验室,2005年10月
[17] Gertz,E.M.,Wright,S.J.:OOQP用户指南。技术备忘录ANL/MCS-TM-252,数学和计算机科学部,阿尔贡国家实验室,伊利诺伊州阿尔贡(2001)
[18] Gertz,E.M.,Wright,S.J.:面向对象的二次规划软件。ACM事务处理。数学。柔和。(TOMS)29、49–94(2003)·Zbl 1070.65501号 ·doi:10.1145/641876.641879
[19] Gill,P.E.,Murray,W.,Wright,M.H.:实用优化。伦敦学术出版社(1981年)
[20] Glasmachers,T.、Igel,C.:SVM的最大增益工作集选择。J.马赫。学习。第7号决议,1437–1466(2006)·Zbl 1222.90040号
[21] Golub,G.H.,Van Loan,C.F.:《矩阵计算》,第三版。约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[22] Hettich,C.B.S.,Merz,C.:机器学习数据库的UCI存储库(1998)。网址:http://www.ics.uci.edu/\(\sim\)mlearn/MLRepository.html
[23] Hyuk Jung,A.L.T.,O'Leary,D.P.:凸二次规划的约束简化IPM,应用于SVM训练。In:INFORMS年会(2006)
[24] Joachims,T.:使大规模支持向量机学习实用化。收录于:Schölkopf,B.,Burges,C.,Smola,A.(编辑)《内核方法的进展——支持向量学习》,第169-184页。麻省理工学院出版社,剑桥(1998)
[25] Keerthi,S.、Shevade,S.,Bhattacharyya,C.、Murthy,K.:对用于SVM分类器设计的Platt SMO算法的改进。神经计算。13, 637–649 (2001) ·Zbl 1085.68629号 ·doi:10.1162/089976601300014493
[26] LeCun,Y.、Bottou,L.、Bengio,Y.和Haffner,P.:基于梯度的学习应用于文档识别。程序。IEEE 86、2278–2324(1998)·数字对象标识代码:10.1109/5.726791
[27] Louradour,J.、Daoudi,K.、Bach,F.:使用不完整的Cholesky分解序列核验证SVM说话人。摘自:IEEE Odyssey 2006:演讲者和语言识别研讨会,IEEE,2006年6月
[28] Mangasarian,O.L.,Musicant,D.R.:拉格朗日支持向量机。J.马赫。学习。第161-177号决议(2001年)·Zbl 0997.68108号 ·doi:10.1162/15324430152748218
[29] Osuna,E.,Freund,R.,Girosi,F.:支持向量机的改进训练算法。摘自:IEEE信号处理神经网络研讨会论文集,第276-285页。(1997)
[30] Platt,J.:顺序最小优化。http://research.microsoft.com/en-us/projects/svm/default.aspx
[31] Platt,J.:使用序列最小优化快速训练支持向量机。收录:Schölkopf,B.,Burges,C.,Smola,A.(编辑)《内核方法的进展——支持向量学习》,第41-65页。麻省理工学院出版社,剑桥(1998)
[32] Platt,J.:序列最小优化:一种用于训练支持向量机的快速算法。技术报告TR-98-14,Microsoft Research,(1998)
[33] Scheinberg,K.:SVM主动集方法的有效实现。J.马赫。学习。第7号决议,2237–2257(2006年)·Zbl 1222.90043号
[34] Smola,A.J.,Schölkopf,B.:机器学习中的稀疏贪婪矩阵近似。摘自:《第17届机器学习国际会议论文集》,加利福尼亚州斯坦福大学,第911–918页。(2000)
[35] Vapnik,V.N.:统计学习理论的本质。斯普林格,海德堡(1995)·Zbl 0833.62008号
[36] Wright,S.J.:原始-双重内部-点方法。SIAM出版物。SIAM,费城(1996)·Zbl 0863.65031号
[37] Xiong Dong,J.,Krzyzak,A.,Suen,C.Y.:基于超大数据集分解的快速SVM训练算法。IEEE传输。模式分析。机器。智力。27, 603–618 (2005) ·doi:10.1109/TPAMI.2005.77
[38] Yang,M.-H.:人脸检测资源。http://vision.ai.uiuc.edu/mhyang/face-detection-survey.html
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。