×
克里斯蒂安·伍德森德;雅塞克·冈齐奥

在大规模线性支持向量机训练中利用可分性。 （英语） Zbl 1219.90210号

计算。优化。应用。 49，第2期，241-269（2011）.
线性支持向量机训练可以表示为一个大的二次规划。对于这个问题，我们使用内点方法提出了一种有效且数值稳定的算法，每次迭代只需要\（O（n）\）个运算。通过利用Hessian的可分性，我们从优化的角度提供了一种统一的方法，用于1-范数分类、2-范数分类，普适分类、序数回归和（varepsilon）不敏感回归。我们的方法还有一个额外的优点，即直接从解算器中获取超平面权重和偏移。数值实验表明，与现有方法相比，该算法在很大程度上不受噪声数据的影响，并且表明我们实现的训练时间是一致的，并且具有很强的竞争力。我们讨论了使用多个校正器的效果，并监控法线到超平面的角度以确定终止。

引用于8文件

MSC公司：

90 C90 数学规划的应用
90C20个 二次规划
90C06型 数学规划中的大尺度问题
90摄氏51度 内部点方法

关键词：

支持向量机;内点法;可分离二次规划;大规模

软件：

算法539;SVMTorch公司;RSVM公司;HOPDM公司;伦敦银行支持向量机;OOQP（OOQP）
PDF格式BibTeX公司 XML格式引用
\textit{K.Woodsend}和\textit{J.Gondzio}，计算。优化。申请。49，No.2，241--269（2011；Zbl 1219.90210）
全文： 内政部 链接

参考文献：

[1] Altman，A.，Gondzio，J.：线性和二次优化内点方法中的正则对称不定系统。优化。方法软件。11, 275–302 (1999) ·Zbl 0957.90101号 ·doi:10.1080/10556789908805754
[2] Chang，C.C.，Lin，C.J.:LIBSVM：支持向量机库（2001）。软件可在网址：http://www.csie.ntu.edu.tw/\（\sim\）cjlin/libsvm
[3] Chu，W.，Keerthi，S.S.：支持向量有序回归的新方法。摘自：ICML'05:第22届国际机器学习会议记录，第145-152页。ACM，纽约（2005）
[4] Collobert，R.，Bengio，S.:SVMTorch：大规模回归问题的支持向量机。J.马赫。学习。第143-160号决议（2001年）·Zbl 1052.68111号
[5] Cristianini，N.，Shawe-Taylor，J.：支持向量机简介。剑桥大学出版社，剑桥（2000）·Zbl 0994.68074号
[6] Dolan，E.，Moré，J.：用性能曲线对优化软件进行基准测试。数学。程序。91(2), 201–213 (2002) ·邮编：1049.90004 ·doi:10.1007/s101070100263
[7] Ferris，M.，Munson，T.：大规模支持向量机的内点方法。SIAM J.Optim公司。13(3), 783–804 (2003) ·Zbl 1039.90092号 ·doi:10.1137/S1052623400374379
[8] Fine，S.，Scheinberg，K.：使用低阶核表示的高效SVM训练。J.马赫。学习。第2号决议，243-264（2002年）·Zbl 1037.68112号
[9] Fine，S.，Scheinberg，K.：INCAS：支持向量机的增量活动集方法。技术代表，IBM研究实验室，海法（2002）·Zbl 1037.68112号
[10] Gertz，E.M.，Griffin，J.D.：大型数据集的支持向量机分类器。技术备忘录，阿贡国家实验室ANL/MCS-TM-289（2005）
[11] Gertz，E.M.，Wright，S.J.：二次规划的面向对象软件。ACM事务处理。数学。柔和。29(1), 58–81 (2003) ·兹比尔1068.90586 ·doi:10.1145/641876.641880
[12] Goldfarb，D.，Scheinberg，K.：线性规划内点方法中处理密集列的产品形式Cholesky因式分解方法。数学。程序。99(1), 1–34 (2004) ·Zbl 1055.90090号 ·doi:10.1007/s10107-003-0377-7
[13] Goldfarb，D.，Scheinberg，K.：利用内点方法求解结构化凸二次规划，并应用于支持向量机和投资组合优化。提交出版（2005年）·Zbl 1079.90157号
[14] Gondzio，J.：HOPDM：基于原始-对偶内点方法的快速LP求解器。欧洲药典。第85、221–225号决议（1995年）·Zbl 0925.90284号 ·doi:10.1016/0377-2217（95）00163-K
[15] Gondzio，J.：线性规划原对偶方法中的多重中心性校正。计算。优化。申请。6, 137–156 (1996) ·Zbl 0860.90084号 ·doi:10.1007/BF00249643
[16] Herbrich，R.，Graepel，T.，Obermayer，K.：有序回归的大边缘秩边界。在：大利润分类器的进展。麻省理工学院出版社，剑桥（2000）
[17] Hsieh，C.J.，Chang，K.W.，Lin，C.J，Keerthi，S.S.，Sundararajan，S.：大型线性SVM的双坐标下降方法。收录于：ICML’08：第25届机器学习国际会议记录（2008）
[18] Joachims，T.：使大规模支持向量机学习变得实用。收录于：Schölkopf，B.，Burges，C.J.C.，Smola，A.J.（编辑）《内核方法的进展：支持向量学习》，第169-184页。麻省理工学院出版社，剑桥（1999）
[19] Joachims，T.：在线性时间内训练线性SVM。收录于：KDD’06：第十二届ACM SIGKDD知识发现和数据挖掘国际会议记录，第217-226页。ACM，纽约（2006年）
[20] Keerthi，S.S.，Chapelle，O.，DeCoster，D.：构建支持向量机，降低分类器复杂性。J.马赫。学习。第7号决议，1493-1515（2006年）·Zbl 1222.68230号
[21] Lawson，C.L.，Hanson，R.J.，Kincaid，D.R.，Krogh，F.T.：算法539：Fortran使用的基本线性代数子程序[F1]。ACM事务处理。数学。柔和。5(3), 324–325 (1979) ·Zbl 0412.65023号 ·doi:10.1145/355841.355848
[22] Lee，Y.J.，Mangasarian，O.L.：RSVM：简化支持向量机。摘自：SIAM国际数据挖掘会议记录。SIAM，费城（2001）
[23] Lucidi，S.、Palagi，L.、Risi，A.、Sciandone，M.：支持向量机的收敛分解算法。计算。优化。申请。38, 217–234 (2007) ·兹比尔1172.90443 ·数字对象标识代码：10.1007/s10589-007-9044-x
[24] Mangasarian，O.L.，Musicant，D.R.：支持向量机的连续过度松弛。IEEE传输。神经网络10（5），1032–1037（1999）·数字对象标识代码：10.1109/72.788643
[25] Mészáros，C.：内点方法中凸二次问题的可分离和不可分离公式。匈牙利科学院计算机和自动化研究所技术代表WP 98-3（1998年）
[26] Osuna，E.，Freund，R.，Girosi，F.：支持向量机的改进训练算法。摘自：Principe，J.，Gile，L.，Morgan，N.，Wilson，E.（编辑）《信号处理神经网络VII–1997 IEEE研讨会论文集》，第276–285页。IEEE出版社，纽约（1997）
[27] Platt，J.：使用序列最小优化快速训练支持向量机。收录于：Schölkopf，B.，Burges，C.J.C.，Smola，A.J.（编辑）《内核方法的进展：支持向量学习》，第185-208页。麻省理工学院出版社，剑桥（1999）
[28] Vanderbei，R.J.：线性规划基础与扩展。Kluwer学术，波士顿（1997）·Zbl 0874.90133号
[29] Vapnik，V.：统计学习理论。威利，纽约（1998）·Zbl 0935.62007号
[30] Vapnik，V.：《统计学习理论的本质》，第二版。柏林施普林格（1999）·Zbl 0928.68093号
[31] Vapnik，V.：传导性推理和半监督学习。摘自：Chapelle，O.，Schölkopf，B.，Zien，A.（编辑）半监督学习，第454-472页。麻省理工学院出版社，剑桥（2006），第24章
[32] Weston，J.，Colobert，R.，Sinz，F.，Bottou，L.，Vapnik，V.：与普遍性的推论。摘自：ICML'06:第23届国际机器学习会议记录，第1009–1016页。ACM，纽约（2006年）
[33] Woodsend，K.，Gondzio，J.：混合MPI/OpenMP并行支持向量机训练。J.马赫。学习。1937-1953年第10号决议（2009年）·兹比尔1235.68205
[34] Wright，S.J.：原始对偶内点方法。SIAM，费城（1997）·Zbl 0863.65031号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。