维罗妮卡·皮夏利;马可·西安德龙 非线性优化和支持向量机。 （英语） Zbl 1496.90059号 安·Oper。物件。 314，编号1，15-47（2022）. 摘要：支持向量机（SVM）是一类最重要的机器学习模型和算法，已成功应用于各个领域。非线性优化在SVM方法中起着至关重要的作用，无论是在定义机器学习模型方面，还是在为大规模训练问题设计收敛且高效的算法方面。在本文中，我们提出了支持向量机下的凸规划问题，重点是监督二进制分类。我们分析了SVM训练问题中最重要和最常用的优化方法，并讨论了如何将这些问题的特性融入到设计有用的算法中。 MSC公司： 90C25型 凸面编程 68T05型 人工智能中的学习和自适应系统 关键词：统计学习理论;支持向量机;凸二次规划;沃尔夫的对偶理论;内核函数;非线性优化方法 软件：晶体管;GPDT公司;LIBLINEAR银行;PRMLT公司;bmrm公司;SSVM（SSVM）;帕伽索斯 PDF格式BibTeX公司 XML格式引用 \textit{V.Piccialli}和\textit{M.Sciandone}，Ann.Oper。第314号决议，第1号，第15-47条（2022年；兹bl 1496.90059） 全文： 内政部 参考文献： [1] Astorino，A。；Fuduli，A.，支持向量机在半监督学习中的多面体可分性，优化理论与应用杂志，1641039-1050（2015）·Zbl 1320.90077 ·doi:10.1007/s10957-013-0458-6 [2] Bertsekas，D.P.（1999）。非线性规划。雅典娜科技·Zbl 1015.90077号 [3] Bishop，C.M.（2006年）。模式识别和机器学习。斯普林格·Zbl 1107.68072号 [4] Boser，B.E.、Guyon，I.M.和Vapnik，V.N.（1992年）。一种最优边缘分类器的训练算法。《计算学习理论第五届年度研讨会论文集》，COLT’92（第144-152页），美国纽约州纽约市，ACM。 [5] 伯德，RH；总经理Chin；奈维特，W。；Nocedal，J.，《随机海森信息在机器学习优化方法中的应用》，SIAM优化杂志，21977-995（2011）·Zbl 1245.65062号 ·数字对象标识码：10.1137/10079923X [6] Carrizosa，E。；罗梅罗·莫拉莱斯（Romero Morales，D.），《监督分类和数学优化》，《计算机与运筹学》，第40期，第150-165页（2013年）·Zbl 1349.68135号 ·doi:10.1016/j.cor.2012.05.015 [7] Cassioli，A。；Chiavaioli，A。；Manes，C。；Sciandone，M.，《用于大规模线性分类的增量最小二乘算法》，《欧洲运筹学杂志》，224560-565（2013）·Zbl 1292.90198号 ·doi:10.1016/j.ejor.2012.09.004 [8] Chang，CC；徐，CW；Lin，CJ，支持向量机分解方法的分析，IEEE神经网络和学习系统汇刊，11003-1008（2000）·doi:10.1109/72.857780 [9] Chang，千瓦；谢长杰；Lin，CJ，大规模l2损失线性支持向量机的坐标下降方法，机器学习研究杂志，91369-1398（2008）·Zbl 1225.68157号 [10] Chapelle，O.，在原始神经计算中训练支持向量机。，19, 1155-1178 (2007) ·Zbl 1123.68101号 ·doi:10.1162/neco.2007.19.5.1155 [11] 陈，PH；风机，RE；Lin，CJ，支持向量机的SMO型分解方法研究，IEEE神经网络汇刊，17，893-908（2006）·doi:10.1109/TNN.2006.875973 [12] Chiang，W.L.、Lee，M.C.和Lin，C.J.（2016）。多核环境下大规模线性分类的并行双坐标下降方法。《22Nd ACM SIGKDD知识发现和数据挖掘国际会议论文集》，KDD’16（第1485-1494页），美国纽约州纽约市，ACM。 [13] 科尔特斯，C。；Vapnik，V.，支持向量网络，机器学习，20，273-297（1995）·Zbl 0831.68098号 [14] 戴，HY；Fletcher，R.，受下界和上界约束的单线性约束二次规划的新算法，数学规划？，106, 403-421 (2006) ·Zbl 1134.90030号 ·doi:10.1007/s10107-005-0595-2 [15] 风机，RE；Chang，千瓦；谢长杰；王，XR；Lin，CJ，Liblinear:大型线性分类库，《机器学习研究杂志》，91871-1874（2008）·Zbl 1225.68175号 [16] 风机，RE；陈，PH；Lin，CJ，使用二阶信息训练支持向量机的工作集选择，机器学习研究杂志，61889-1918（2005）·Zbl 1222.68198号 [17] 费里斯，MC；Munson，TS，半光滑支持向量机，数学规划B，101185-204（2004）·Zbl 1076.90041号 [18] 费里斯，MC；Munson，TS，大规模支持向量机的内点方法，SIAM优化期刊，137783-804（2002）·Zbl 1039.90092号 ·doi:10.1137/S1052623400374379 [19] 罚款，S。；Scheinberg，K.，使用低阶核表示的高效SVM训练，机器学习研究杂志，2243-264（2001）·Zbl 1037.68112号 [20] Fletcher，R.（1987）。实用的优化方法（第二版）。威利·Zbl 0905.65002号 [21] Vojtech公司Franc；Sonnenburg，Sören，用于大规模风险最小化的优化切割平面算法，机器学习研究杂志，102157-2192（2009）·Zbl 1235.68151号 [22] Franc，V.和Sonnenburg，S.（2008年）。支持向量机的优化切割平面算法。《第25届机器学习国际会议论文集》，ICML'08（第320-327页），美国纽约州纽约市，ACM。 [23] Fung，G.和Mangasarian，O.L.（2001）。近距离支持向量机分类器。第七届ACM SIGKDD知识发现和数据挖掘国际会议论文集，KDD’01（第77-86页），美国纽约州纽约市，ACM·Zbl 1101.68758号 [24] 高迪奥索，M。；Gorgone，E。；拉贝，M。；Rodríguez-Chía，AM，支持向量机特征选择的拉格朗日松弛法，计算机与手术室，87，137-145（2017）·Zbl 1391.90430号 ·doi:10.1016/j.cor.2017.06.001 [25] 格茨，EM；Griffin，JD，在生成支持向量机的内点方法中使用迭代线性解算器，计算优化与应用，47，431-453（2010）·Zbl 1208.90184号 ·doi:10.1007/s10589-008-9228-z [26] Glasmachers，T。；Igel，C.，SVM的最大增益工作集选择，机器学习研究杂志，71437-1466（2006）·Zbl 1222.90040号 [27] Goldfarb，D。；Scheinberg，K.，凸二次规划内点方法中的数值稳定LDLT分解，IMA数值分析杂志，28806-826（2008）·Zbl 1155.65350号 ·doi:10.1093/imanum/drn058 [28] Golub，G.H.和Van Loan，C.F.（1996年）。矩阵计算（第三版）。约翰·霍普金斯大学出版社·Zbl 0865.65009号 [29] Xieh，C.J.，Chang，K.W.，Lin，C.J..，Keerthi，S.S.和Sundararajan，S.（2008）。一种用于大规模线性支持向量机的双坐标下降方法。第25届机器学习国际会议论文集，ICML'08（第408-415页），纽约。 [30] Hsu，CW；Lin，CJ，多类支持向量机方法的比较，IEEE神经网络泛函，13415-425（2002）·doi:10.1109/72.991427 [31] 徐，CW；Lin，CJ，支持向量机的简单分解方法，机器学习，46，291-314（2002）·Zbl 0998.68108号 ·doi:10.1023/A:1012427100071 [32] Hui、Teo Choon；Vishwanthan，SVN；亚历克斯·J·斯莫拉。；Le Quoc，V.，正则化风险最小化的捆绑方法，机器学习研究杂志，11，311-365（2010）·Zbl 1242.68253号 [33] Joachims，T.（1999）。核方法的进展。使大规模支持向量机学习实用化的章节（第169-184页）。麻省理工学院出版社 [34] Joachims，T.（2006）。在线性时间内训练线性svm。第十二届ACM SIGKDD国际知识发现和数据挖掘会议论文集，KDD’06（第217-226页），纽约。 [35] Joachims，T。；Finley，T。；Yu，CNJ，《结构化SVM的裁剪计划培训》，机器学习，77，27-59（2009）·Zbl 1235.68161号 ·doi:10.1007/s10994-009-5108-8 [36] Joachims，T。；Yu，CNJ，通过裁剪训练实现稀疏内核SVM，机器学习，76179-193（2009）·Zbl 1470.68123号 ·doi:10.1007/s10994-009-5126-6 [37] 基尔西，SS；DeCoster，D.，用于快速求解大规模线性SVM的修正有限牛顿法，机器学习研究杂志，6，341-361（2005）·Zbl 1222.68231号 [38] 基尔西，SS；Gilbert，EG，SVM分类器设计中广义SMO算法的收敛性，机器学习，46，351-360（2002）·Zbl 0998.68109号 ·doi:10.1023/A:1012431217818 [39] 基尔西，SS；Lin，CJ，高斯核支持向量机的渐近行为，神经计算，151667-1689（2003）·Zbl 1086.68569号 ·doi:10.1162/089976603321891855 [40] 基梅尔多夫，GS；Wahba，G.，随机过程的贝叶斯估计与样条曲线平滑之间的对应关系，《数理统计年鉴》，41，495-502，04（1970）·Zbl 0193.45201号 [41] Kiwiel，KC，连续二次背包问题的断点搜索算法，数学规划，112473-491（2008）·Zbl 1190.90121号 ·doi:10.1007/s10107-006-0050-z [42] Le，Q.V.、Smola，A.J.和Vishwanathan，S.（2008）。机器学习的捆绑方法。J.C.Platt、D.Koller、Y.Singer和S.T.Roweis（编辑），《神经信息处理系统的进展》20（第1377-1384页）。Curran Associates公司。 [43] Lee，M.C.、Chiang，W.L.和Lin，C.J.（2015）。共享存储系统上大规模逻辑回归的快速矩阵向量乘法。在C.Aggarwal，Z.-H.Zhou，A.Tuzhilin和W.Xidong（编辑），ICDM（第835-840页）。IEEE计算机学会。 [44] 李，YJ；Mangasarian，OL，SSVM：用于分类、计算优化和应用的平滑支持向量机，20，5-22（2001）·Zbl 1017.90105号 ·doi:10.1023/A:101125321374 [45] 林，C-J；Lucidi，S。；Palagi，L。；A.里西。；Sciandone，M.，受上下界约束的单线性约束问题的分解算法模型，优化理论与应用杂志，141107-126（2009）·Zbl 1168.90556号 ·doi:10.1007/s10957-008-9489-9 [46] Lin，CJ，《支持向量机的公式化：从优化角度的注释》，《神经计算》，第13期，第307-317页（2001年）·Zbl 0973.68201号 ·doi:10.1162/089976601300014547 [47] Lin，CJ，关于支持向量机分解方法的收敛性，IEEE神经网络汇刊，121288-1298（2001）·doi:10.1109/72.963765 [48] Lin，CJ，无任何假设的SMO算法的渐近收敛性，IEEE神经网络汇刊，13248-250（2002）·doi:10.1109/72.977319 [49] Lin，CJ，支持向量机分解方法停止准则的形式化分析，IEEE神经网络汇刊，131045-1052（2002）·doi:10.1109/TNN.2002.1031937 [50] CJ林；Morè，JJ，大型有界约束优化问题的牛顿方法，SIAM优化杂志，9，1100-127（1999）·Zbl 0957.65064号 ·doi:10.1137/S1052623498345075 [51] Lucidi，S。；Palagi，L。；A.里西。；Sciandone，M.，支持向量机的收敛分解算法，计算优化与应用，38，217-234（2007）·Zbl 1172.90443号 ·数字对象标识代码：10.1007/s10589-007-9044-x [52] Lucidi，S。；Palagi，L。；A.里西。；Sciandone，M.，用于SVM训练的收敛混合分解算法模型，IEEE神经网络汇刊，201055-1060（2009）·doi:10.1109/TNN.2009.2020908 [53] Mangasarian，OL；Musicant，David R.，拉格朗日支持向量机，机械学习研究杂志，161-177（2001）·Zbl 0997.68108号 [54] Mangasarian，O.J.（1994）。非线性规划。工业和应用数学学会·Zbl 0833.90108号 [55] Mangasarian，OL，分类的有限牛顿法，优化方法和软件，17，913-929（2002）·兹比尔1065.90078 ·网址：10.1080/1055678021000028375 [56] Mangasarian，OL，通过无约束凸可微最小化的精确1-范数支持向量机，机器学习研究杂志，1517-1530（2006）·Zbl 1211.68329号 [57] Mangasarian，OL；Musicant，DR，支持向量机的连续过度松弛，IEEE神经网络汇刊，101032-1037（1999）·doi:10.1109/72.788643 [58] Mavroforakis，ME；Theodoridis，S.，支持向量机（SVM）分类的几何方法，IEEE神经网络汇刊，17，671-682（2006）·doi:10.1109/TNN.2006.873281 [59] Osuna，E.、Freund，R.和Girosi，F.（1997）。一种改进的支持向量机训练算法。信号处理的神经网络VII。1997年IEEE信号处理学会研讨会论文集（第276-285页）。IEEE标准。 [60] Osuna，E.、Freund，R.和Girosti，F.（1997）《训练支持向量机：人脸检测的应用》。IEEE计算机学会计算机视觉和模式识别会议论文集（第130-136页）。 [61] Palagi，L。；Sciandrone，M.，《关于改进版SVM光算法的收敛性，优化方法和软件》，20，315-332（2005）·Zbl 1072.90042号 ·doi:10.1080/105567805123318209 [62] Piccialli，V。；Sciandone，M.，非线性优化和支持向量机，4OR，16，111-149（2018）·Zbl 1398.65126号 ·doi:10.1007/s10288-018-0378-2 [63] Pardalos，总理；Kovoor，N.，受上下限约束的单约束二次规划类的算法，《数学规划》，46，321-328（1990）·Zbl 0711.90061号 ·doi:10.1007/BF01585748 [64] Platt，J.C.（1999）。核方法的进展。第二章支持向量机的序列最小优化快速训练（pp.185-208）。麻省理工学院出版社。 [65] Scholkopf，B.和Smola，A.J.（2001）。使用内核学习：支持向量机、正则化、优化及其他。麻省理工学院出版社。 [66] 沙列夫·施瓦茨，S。；辛格，Y。；斯雷布罗，N。；Cotter，A.，Pegasos:SVM的原始估计子梯度解算器，《数学规划》，127,3-30（2011）·Zbl 1211.90239号 ·doi:10.1007/s10107-010-0420-4 [67] Shawe-Taylor，J.和Cristianini，N.（2004）。模式分析的核心方法。剑桥大学出版社·Zbl 0994.68074号 [68] 日本苏肯斯；Vandewalle，J.，最小二乘支持向量机分类器，《神经处理快报》，9，293-300（1999）·doi:10.1023/A:1018628609742 [69] Glasmachers，T.和Dogan，U rün（2013）。使用自适应坐标频率加速坐标下降。在2013年11月13日至15日于澳大利亚首都堪培拉举行的亚洲机器学习会议上，ACML 2013（第72-86页） [70] 塞拉菲尼，T。；Zanni，L.，《支持向量机基于梯度投影的分解技术中的工作集选择，优化方法与软件》，20，583-596（2005）·Zbl 1116.90115号 ·网址：10.1080/10556780500140714 [71] Tsang，IW；郭，JT；Cheung，PM，核心向量机：在非常大的数据集上进行快速SVM训练，机器学习研究杂志，6633-392（2005）·Zbl 1222.68320号 [72] Vapnik，V.N.（1998）。统计学习理论。威利-国际科学·Zbl 0935.62007号 [73] Wang，PW；Lin，CJ，凸优化可行下降法的迭代复杂性，机器学习研究杂志，15，1523-1548（2014）·兹比尔1319.90051 [74] 王，Z。；克拉默，K。；Vucetic，S.，《打破核化诅咒：大规模SVM训练的预算随机梯度下降》，《机器学习研究杂志》，13，3103-3131（2012）·Zbl 1433.68383号 [75] Woodsend，K。；Gondzio，J.，混合MPI/openMP并行线性支持向量机训练，《机器学习研究杂志》，1937-1953（2009）·Zbl 1235.68205号 [76] Woodsend，K。；Gondzio，J.，利用大规模线性支持向量机训练中的可分性，计算优化与应用，49，241-269（2011）·Zbl 1219.90210号 ·doi:10.1007/s10589-009-9296-8 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。