维罗妮卡·皮夏利;马可·西安德龙 非线性优化和支持向量机。 （英语） Zbl 1398.65126号 4OR（或） 16，第2期，111-149（2018）. 摘要：支持向量机（SVM）是最重要的一类机器学习模型和算法，已成功应用于各个领域。非线性优化在SVM方法中起着至关重要的作用，无论是在定义机器学习模型方面，还是在为大规模训练问题设计收敛且高效的算法方面。在本文中，我们提出了支持向量机下的凸规划问题，重点是监督二进制分类。我们分析了SVM训练问题中最重要和最常用的优化方法，并讨论了如何将这些问题的特性融入到设计有用的算法中。 引用于9文件 MSC公司： 65千5 数值数学规划方法 90C25型 凸面编程 90立方 非线性规划 关键词：统计学习理论;支持向量机;凸二次规划;Wolfe对偶理论;内核函数;非线性优化方法 软件：SSVM（SSVM）;bmrm公司;PRMLT公司;LIBLINEAR银行;GPDT公司;帕伽索斯;晶体管 PDF格式BibTeX公司 XML格式引用 \textit{V.Piccialli}和\textit{M.Sciandone}，4OR 16，No.2，111--149（2018；Zbl 1398.65126） 全文： 内政部 链接 参考文献： [1] 阿斯托里诺，A；Fuduli，A，支持向量机在半监督学习中的多面体可分性，J Optim理论应用，1641039-1050，（2015）·Zbl 1320.90077 ·doi:10.1007/s10957-013-0458-6 [2] Bertsekas DP（1999）非线性规划。雅典娜科技公司，贝尔蒙特·Zbl 1015.90077号 [3] Bishop CM（2006）模式识别和机器学习。柏林施普林格·Zbl 1107.68072号 [4] Boser BE，Guyon IM，Vapnik VN（1992）最优边缘分类器的训练算法。摘自：第五届计算学习理论年度研讨会论文集，COLT’92。ACM，纽约，第144-152页 [5] 伯德，右侧；总经理Chin；奈维特，W；Nocedal，J，《随机Hessian信息在机器学习优化方法中的应用》，SIAM J Optim，21977-995，（2011）·Zbl 1245.65062号 ·数字对象标识码：10.1137/10079923X [6] 卡里佐萨，E；罗梅罗·莫拉莱斯（Romero Morales），D，《监督分类和数学优化》（Supervised classification and mathematical optimization），《计算机操作研究》（Compute Oper Res），第40期，第150-165页，（2013年）·Zbl 1349.68135号 ·doi:10.1016/j.cor.2012.05.015 [7] Cassioli，A；Chiavaioli，A；马内斯，C；Sciandrone，M，《用于大规模线性分类的增量最小二乘算法》，《欧洲运营研究杂志》，224560-565，（2013）·Zbl 1292.90198号 ·doi:10.1016/j.ejor.2012.09.004 [8] Chang，CC；Hsu，CW；Lin，CJ，《支持向量机分解方法的分析》，IEEE Trans Neural Netw Learn System，11003-1008，（2000）·doi:10.1109/72.857780 [9] Chang，千瓦；谢长廷；Lin，CJ，大型l2-损失线性支持向量机的坐标下降法，J Mach Learn Res，9，1369-1398，（2008）·Zbl 1225.68157号 [10] Chapelle，O，《训练原始支持向量机》，《神经计算》，第19期，第1155-1178页，（2007年）·Zbl 1123.68101号 ·doi:10.1162/neco.2007.19.5.1155 [11] 陈，PH；风机，RE；Lin，CJ，支持向量机的smo-type分解方法研究，IEEE Trans Neural Netw，17，893-908，（2006）·doi:10.1109/TNN.2006.875973 [12] Chiang WL，Lee MC，Lin CJ（2016）多核环境下大规模线性分类的并行双坐标下降法。摘自：第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’16。ACM，纽约，第1485-1494页 [13] 科尔特斯，C；Vapnik，V，《支持向量网络》，《马赫学习》，第20期，第273-297页，（1995年）·Zbl 0831.68098号 [14] 戴，HY；Fletcher，R，受上下界约束的单线性约束二次规划的新算法，《数学规划》，106，403-421，（2006）·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2 [15] 风机，RE；Chang，千瓦；谢长杰；王，XR；Lin，CJ，Liblinear:大型线性分类库，J Mach Learn Res，91871-1874，（2008）·Zbl 1225.68175号 [16] 风扇，RE；陈，PH；Lin，CJ，使用二阶信息训练支持向量机的工作集选择，J Mach Learn Res，61889-1918，（2005）·Zbl 1222.68198号 [17] 费里斯，MC；Munson，TS，半光滑支持向量机，数学程序B，101，185-204，（2004）·Zbl 1076.90041号 [18] 费里斯，MC；Munson，TS，大规模支持向量机的内部点方法，SIAM J Optim，13，783-804，（2002）·Zbl 1039.90092号 ·doi:10.1137/S1052623400374379 [19] 罚款，S；Scheinberg，K，使用低阶核表示的高效svm训练，J Mach Learn Res，2243-264，（2001）·Zbl 1037.68112号 [20] Fletcher R（1987）《实用优化方法》，第2版。威利，纽约·Zbl 0905.65002号 [21] 弗朗西斯，V；Sonnenburg，S，《大规模风险最小化的优化切割平面算法》，J Mach Learn Res，10，2157-2192，（2009）·Zbl 1235.68151号 [22] Franc V，Sonnenburg S（2008）支持向量机的优化切割平面算法。摘自：第25届机器学习国际会议论文集，ICML'08。ACM，纽约，第320-327页 [23] Fung G，Mangasarian OL（2001）近距离支持向量机分类器。收录：第七届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’01。ACM纽约，第77-86页·Zbl 1101.68758号 [24] 高迪奥索，M；Gorgone，E；拉贝，M；Rodríguez-Chía，AM，支持向量机特征选择的拉格朗日松弛法，计算OR，87，137-145，（2017）·Zbl 1391.90430号 ·doi:10.1016/j.cor.2017.06.001 [25] 格茨，EM；Griffin，JD，在内部点方法中使用迭代线性解算器生成支持向量机，Comput Optim Appl，47，431-453，（2010）·Zbl 1208.90184号 ·doi:10.1007/s10589-008-9228-z [26] Glasmachers，T；Igel，C，svms的最大增益工作集选择，J Mach Learn Res，71437-1466，（2006）·Zbl 1222.90040号 [27] 戈德法布，D；Scheinberg，K，凸二次规划内点方法中的数值稳定ldlt分解，IMA J Numer Anal，28，806-826，（2008）·Zbl 1155.65350号 ·doi:10.1093/imanum/drn058 [28] Golub GH，Van Loan CF（1996）《矩阵计算》，第3版。巴尔的摩约翰霍普金斯大学出版社·Zbl 0865.65009号 [29] Xieh CJ，Chang KW，Lin CJ，Keerthi SS，Sundararajan S（2008）大型线性支持向量机的双坐标下降方法。摘自：第25届机器学习国际会议论文集，ICML'08。ACM，纽约，第408-415页 [30] Hsu，CW；Lin，CJ，多类支持向量机方法的比较，IEEE Trans Neural Netw，13，415-425，（2002）·doi:10.1109/TNN.2002.1000139 [31] Hsu，CW；Lin，CJ，支持向量机的简单分解方法，马赫学习，46，291-314，（2002）·Zbl 0998.68108号 ·doi:10.1023/A：1012427100071 [32] Teo，中国；Vishwanthan，SVN；斯莫拉，AJ；Le，QV，正则化风险最小化的捆绑方法，J Mach Learn Res，11，311-365，（2010）·Zbl 1242.68253号 [33] Joachims T（1999）《核方法的进展》。第二章使大规模支持向量机学习实用化。麻省理工学院出版社，剑桥，第169-184页 [34] Joachims T（2006）在线性时间内训练线性支持向量。摘自：2006年第12届ACM SIGKDD知识发现和数据挖掘国际会议论文集。ACM，纽约，第217-226页 [35] Joachims，T；芬利，T；Yu，CNJ，《结构svms的切割平面训练》，《马赫学习》，77，27-59，（2009）·兹比尔1235.68161 ·doi:10.1007/s10994-009-5108-8 [36] Joachims，T；Yu，CNJ，《通过裁剪训练实现稀疏内核支持向量机》，《马赫学习》，第76期，第179-193页，（2009年）·Zbl 1470.68123号 ·doi:10.1007/s10994-009-5126-6 [37] 基尔西，SS；DeCoster，D，大型线性svm快速求解的修正有限牛顿法，J Mach Learn Res，6，341-361，（2005）·兹比尔1222.68231 [38] 基尔西，SS；Gilbert，EG，支持向量机分类器设计的广义smo算法的收敛性，马赫学习，46，351-360，（2002）·Zbl 0998.68109号 ·doi:10.1023/A:1012431217818 [39] 基尔西，SS；Lin，CJ，高斯核支持向量机的渐近行为，神经计算，151667-1689，（2003）·Zbl 1086.68569号 ·doi:10.1162/089976603321891855 [40] 基梅尔多夫，GS；Wahba，G，随机过程贝叶斯估计与样条曲线平滑之间的对应关系，《数学统计年鉴》，41，495-502，（1970）·Zbl 0193.45201号 ·doi:10.1214/aoms/1177697089 [41] Kiwiel，KC，连续二次背包问题的断点搜索算法，数学程序，112473-491，（2008）·Zbl 1190.90121号 ·doi:10.1007/s10107-006-0050-z [42] Le、QV；斯莫拉，AJ；Vishwanathan，S；Platt，JC（编辑）；Koller，D（编辑）；辛格，Y（编辑）；Roweis，ST（编辑），机器学习的捆绑方法，1377-1384，（2008），纽约 [43] Lee MC，Chiang WL，Lin CJ（2015）共享存储系统大规模逻辑回归的快速矩阵向量乘法。In:Aggarwal C、Zhou Z-H、Tuzhilin A、Xiong H、Wu X（编辑）ICDM。IEEE计算机学会，第835-840页 [44] 李，YJ；Mangasarian，OL，SSVM：用于分类的平滑支持向量机，Comput Optim Appl，20，5-22，（2001）·Zbl 1017.90105号 ·doi:10.1023/A:101125321374 [45] 林，C-J；卢西迪，S；帕拉吉，L；里西，A；Sciandone，M，单线性约束问题的上下界分解算法模型，最优化理论应用杂志，141107-126，（2009）·Zbl 1168.90556号 ·doi:10.1007/s10957-008-9489-9 [46] Lin，CJ，《支持向量机的公式化：从优化角度的注释》，神经计算，13，307-317，（2001）·Zbl 0973.68201号 ·doi:10.11162/089977601300014547 [47] Lin，CJ，关于支持向量机分解方法的收敛性，IEEE Trans Neural Netw，12，1288-1298，（2001）·doi:10.1109/72.963765 [48] Lin，CJ，无任何假设的SMO算法的渐近收敛性，IEEE Trans Neural Netw，13，248-250，（2002）·doi:10.1109/72.977319 [49] Lin，CJ，支持向量机分解方法停止准则的形式化分析，IEEE Trans Neural Netw，13，1045-1052，（2002）·doi:10.1109/TNN.2002.1031937 [50] CJ林；Morè，JJ，大型有界约束优化问题的牛顿方法，SIAM J Optim，9，1100-127，（1999）·Zbl 0957.65064号 ·doi:10.1137/S1052623498345075 [51] Lucidi，S；帕拉吉，L；里西，A；Sciandone，M，支持向量机的收敛分解算法，Comput Optim Appl，38，217-234，（2007）·兹比尔1172.90443 ·数字对象标识代码：10.1007/s10589-007-9044-x [52] Lucidi，S；帕拉吉，L；里西，A；Sciandone，M，《支持向量机训练的收敛混合分解算法模型》，IEEE Trans Neural Netw，20，1055-1060，（2009）·doi:10.1109/TNN.2009.2020908 [53] Mangasarian OL（1994）非线性规划。应用数学经典。工业和应用数学学会。国际标准图书编号：9780898713411 [54] Mangasarian，OL，用于分类的有限牛顿法，Optim Methods Softw，17，913-929，（2002）·Zbl 1065.90078号 ·网址：10.1080/1055678021000028375 [55] Mangasarian，OL，通过无约束凸可微最小化的精确1-范数支持向量机，J Mach Learn Res，1517-1530，（2006）·兹比尔1211.68329 [56] Mangasarian，OL；Musicant，DR，支持向量机的连续过度松弛，IEEE Trans Neural Netw，10，1032-1037，（1999）·数字对象标识代码：10.1109/72.788643 [57] Mangasarian，OL；Musicant，DR，拉格朗日支持向量机，J Mach Learn Res，161-177，（2001）·Zbl 0997.68108号 [58] Mavroforakis，ME；Theodoridis，S，支持向量机（SVM）分类的几何方法，IEEE跨神经网络，17671-682，（2006）·doi:10.1109/TNN.2006.873281 [59] Osuna E，Freund R，Girosi F（1997）支持向量机的改进训练算法。In：信号处理神经网络VII。1997年IEEE信号处理学会研讨会论文集，第276-285页 [60] Osuna E、Freund R、Girosti F（1997）《训练支持向量机：人脸检测的应用》。IEEE计算机学会计算机视觉和模式识别会议论文集，第130-136页 [61] 帕拉吉，L；Sciandone，M，《关于svmlight算法改进版本的收敛性》，Optim Methods Softw，20，315-332，（2005）·Zbl 1072.90042号 ·doi:10.1080/105567805123318209 [62] Pardalos，PM；Kovoor，N，受上下界约束的单约束二次规划类的算法，《数学程序》，46，321-328，（1990）·Zbl 0711.90061号 ·doi:10.1007/BF01585748 [63] Platt JC（1999）《核方法的进展》。第三章利用序列最小优化快速训练支持向量机。麻省理工学院出版社，剑桥，第185-208页 [64] Scholkopf B，Smola AJ（2001）《使用内核学习：支持向量机、正则化、优化及其他》。麻省理工学院出版社，剑桥 [65] 沙列夫·施瓦茨，S；辛格，Y；斯雷布罗，N；Cotter，A，Pegasos:支持向量机的原始估计子梯度解算器，《数学程序》，127，3-30，（2011）·Zbl 1211.90239号 ·doi:10.1007/s10107-010-0420-4 [66] Shawe-Taylor J，Cristianini N（2004），模式分析的核方法。剑桥大学出版社，纽约·doi:10.1017/CBO9780511809682 [67] 日本苏肯斯；Vandwalle，J，最小二乘支持向量机分类器，Neural Process Lett，99293-300，（1999）·doi:10.1023/A:1018628609742 [68] Glasmachers T，Dogan U（2013）使用自适应坐标频率加速坐标下降。参加：2013年亚洲机器学习会议，澳大利亚首都堪培拉ACT，第72-86页 [69] 塞拉菲尼，T；Zanni，L，关于支持向量机基于梯度投影的分解技术中的工作集选择，Optim Methods Softw，20，583-596，（2005）·Zbl 1116.90115号 ·网址：10.1080/10556780500140714 [70] 曾，IW；郭，JT；Cheung，PM，核心向量机：在非常大的数据集上进行快速svm训练，J Mach Learn Res，6633-392，（2005）·Zbl 1222.68320号 [71] Vapnik VN（1998）统计学习理论。Wiley-Interscience，纽约·Zbl 0935.62007号 [72] Wang，PW；Lin，CJ，凸优化可行下降法的迭代复杂性，J Mach Learn Res，15，1523-1548，（2014）·Zbl 1319.90051号 [73] 王，Z；克拉默，K；Vucetic，S，《打破核化诅咒：大规模支持向量机训练的预算随机梯度下降》，J Mach Learn Res，13，3103-3131，（2012）·Zbl 1433.68383号 [74] 伍德森德，K；Gondzio，J，混合mpi/openmp并行线性支持向量机训练，J Mach Learn Res，1937-1953，（2009）·兹比尔1235.68205 [75] 伍德森德，K；Gondzio，J，利用大规模线性支持向量机训练中的可分性，计算优化应用，49，241-269，（2011）·Zbl 1219.90210号 ·doi:10.1007/s10589-009-9296-8 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。