卢卡·赞尼 一种改进的基于梯度投影的支持向量机分解技术。 （英语） Zbl 1163.90693号 计算。管理。科学。 3，第2期，131-145（2006）. 摘要：我们对最近在支持向量机训练中出现的大二次规划分解技术提出了一些改进。作为标准分解方法，我们考虑的技术基于这样的思想，即在每次迭代时，通过求解二次规划子问题来优化变量子集。该方法的创新之处在于对内部子问题使用了一种非常有效的梯度投影方法，并使用了一条特殊规则来选择每个步骤中要优化的变量。这些特性允许通过将问题分解为几个大的子问题，而不是像通常由其他分解方案所做的许多小的子问题来获得有希望的性能。我们通过引入一个新的内部求解器和一个减少每次迭代计算成本的简单策略来改进此技术。我们通过解决大规模基准问题并与广泛使用的分解包进行比较来评估这些改进的有效性。 引用于12文件 MSC公司： 90C20个 二次规划 62H30型 分类和区分；聚类分析（统计方面） 90摄氏52度 减少梯度类型的方法 关键词：支持向量机;二次规划;分解技术;梯度投影法;大规模问题 软件：GPDT公司;SVM灯;UCI-毫升;伦敦银行支持向量机;SVMTorch公司;配置文件_QP;MNIST公司;QL公司 PDF格式BibTeX公司 XML格式引用 \textit{L.Zanni}，计算。管理。科学。3，编号2，131-145（2006年；兹bl 1163.90693） 全文： 内政部 参考文献： [1] Barzilai J，Borwein JM（1988）两点步长梯度法。IMA J数字分析8（1）：141–148·Zbl 0638.65055号 ·doi:10.1093/imanum/8.1.141 [2] Bertsekas DP（1999）非线性规划。Athena Scientific，马萨诸塞州贝尔蒙特·Zbl 1015.90077号 [3] Birgin EG，Martínez JM，Raydan M（2000）凸集上的非单调谱投影梯度方法。SIAM J Optim 10（4）：1196–1211·兹比尔1047.90077 ·doi:10.1137/S1052623497330963 [4] Boser B，Guyon I，Vapnik VN（1992年）。一种用于最优边缘分类器的训练算法。收录：Haussler D（编辑）。第五届ACM计算学习理论研讨会论文集。宾夕法尼亚州匹兹堡ACM出版社，第144-152页 [5] Chang CC，Lin CJ（2001），LIBSVM：支持向量机库。www.csie.ntu.edu.tw/jlin/libsvm [6] Collobert R，Bengio S（2001）SVMTorch：大规模回归问题的支持向量机。J Mach学习研究1:143–160·Zbl 1052.68111号 ·doi:10.1162/15324430152733142 [7] Cristianini N，Shawe-Taylor J（2000）支持向量机和其他基于内核的学习方法简介。英国剑桥大学出版社·Zbl 0994.68074号 [8] Dai YH，Fletcher R（2005a）受下界和上界约束的单线性约束二次规划的新算法。数学程序（待显示）。另作为研究报告NA/216发表，英国邓迪大学数学系 [9] Dai YH，Fletcher R（2005b）大型箱约束二次规划的投影Barzilai–Borwein方法。数理100（1）：21–47·Zbl 1068.65073号 ·doi:10.1007/s00211-004-0569-y [10] Fletcher R（2001）关于Barzilai–Borwein方法。英国邓迪大学数学系NA 207研究报告·Zbl 1118.90318号 [11] Goldfarb D，Idnani A（1983）求解严格凸二次规划的数值稳定对偶方法。数学课程27:1–33·Zbl 0537.90081号 ·doi:10.1007/BF02591962 [12] Grippo L，Lampariello F，Lucidi S（1986）牛顿法的非单调线搜索技术。SIAM J数字分析23:707–716·Zbl 0616.65067号 ·doi:10.1137/0723046 [13] Grippo L，Sciandrone M（2002）Barzilai–Borwein梯度法的非单调全球化技术。计算优化应用23:143–169·Zbl 1028.90061号 ·doi:10.1023/A:1020587701058 [14] Hsu CW，Lin CJ（2002）支持向量机的一种简单分解方法。马赫学习46:291–314·兹比尔0998.68108 ·doi:10.1023/A:1012427100071 [15] Joachims T（1998）。使大规模支持向量机学习变得实用。收录：Schölkopf B、Burges C、Smola A（编辑）。核方法的进展——支持向量学习。麻省理工学院，剑桥 [16] Keerthi S，Gilbert E（2002）SVM分类器设计中广义SMO算法的收敛性。马赫学习46:351–360·Zbl 0998.68109号 ·doi:10.1023/A:1012431217818 [17] Keerthi S，Shevade S，Bhattacharyya C，Murthy K（2001），SVM分类器设计中对platt SMO算法的改进。神经计算13:637–649·Zbl 1085.68629号 ·doi:10.1162/089976601300014493 [18] LeCun Y（1998）MNIST手写数字数据库yann.LeCun.com/exdb/MNIST [19] Lin CJ（2001a）关于支持向量机分解方法的收敛性。IEEE Trans神经网络12:1288–1298 [20] Lin CJ（2001b）支持向量机分解方法的线性收敛性。台湾台北国立台湾大学计算机科学与信息工程系技术报告 [21] Lin CJ（2002）无任何假设的SMO算法的渐近收敛性。IEEE Trans神经网络13:248–250·doi:10.1109/72.977319 [22] Murphy P，Aha D（1992）机器学习数据库的UCI存储库。www.ics.uci.edu/learn/MLRepository.html [23] Osuna E、Freund R、Girosi F（1997）《训练支持向量机：人脸检测的应用》。收录：IEEE计算机视觉和模式识别会议记录（CVPR97）。IEEE计算机学会，纽约，第130–136页 [24] Palagi L，Sciandone M（2005）关于SVM light算法改进版本的收敛性。Optim Methods软件20:317–334·Zbl 1072.90042号 ·doi:10.1080/105567805123318209 [25] Pardalos PM，Kovoor N（1990）受上下界约束的单约束二次规划类的算法。数学课程46:321–328·Zbl 0711.90061号 ·doi:10.1007/BF01585748 [26] 普拉特JC（1998）。使用序列最小优化快速训练支持向量机。收录：Schölkopf B、Burges C、Smola A（编辑）。核方法的进展——支持向量学习。麻省理工学院、马萨诸塞州剑桥 [27] 普拉特JC（1999）。使用解析QP和稀疏性来加速支持向量机的训练。摘自：Kearns M等人（编辑）。神经信息处理系统进展，第11卷。麻省理工学院、马萨诸塞州剑桥 [28] Ruggiero V，Zanni L（2000a）大型严格凸二次规划的改进投影算法。最优化理论应用杂志104（2）：281–299·Zbl 0962.90036号 [29] Ruggiero V，Zanni L（2000b）大型凸二次规划的变量投影方法。摘自：Trigante D（ed）《数值分析的最新趋势，计算数学理论的进展》，第3卷。Nova Science出版社，第299-313页·Zbl 0962.90036号 [30] Schittkowski K（2003）QL:凸二次规划的Fortran代码-用户指南。德国拜勒大学数学系技术报告 [31] Serafini T，Zanghirati G，Zanni L（2005）二次规划的梯度投影方法及其在训练支持向量机中的应用。Optim方法软件20:353–378·Zbl 1072.90026号 ·doi:10.1080/105567805123318182 [32] Serafini T，Zanni L（2005）关于支持向量机基于梯度投影的分解技术中的工作集选择。Optim Methods软件20:583–596·Zbl 1116.90115号 ·网址：10.1080/10556780500140714 [33] Vapnik VN（1998）统计学习理论。纽约威利·Zbl 0935.62007号 [34] Zanghirati G，Zanni L（2003）支持向量机训练中大型二次规划的并行求解器。并行计算29:535–551·Zbl 1054.65062号 ·doi:10.1016/S0167-8191（03）00021-8 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。