×

数学ZBZ-数学第一资源

非线性优化与支持向量机。(英语) Zbl 1398.65126号
支持向量机(SVM)是一类重要的机器学习模型和算法,已成功应用于各个领域。非线性优化在支持向量机方法学中起着至关重要的作用,无论是在定义机器学习模型,还是在设计大规模训练问题的收敛和高效算法方面。本文提出了支持向量机的凸规划问题。我们分析了支持向量机训练问题中最重要和最常用的优化方法,并讨论了如何将这些问题的性质融入到设计有用的算法中。

理学硕士:
6505公里 数值数学规划方法
90C25型 凸规划
90立方厘米 非线性规划
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] Astorino,A;Fuduli,A,支持向量机在半监督学习中的多面体可分性,优化理论应用,1641039-1050,(2015)·Zbl 1320.90077
[2] Bertsekas DP(1999)非线性规划。雅典娜科学,贝尔蒙特
[3] Bishop CM(2006)模式识别与机器学习。柏林斯普林格
[4] Boser BE,Guyon IM,Vapnik VN(1992)最优边缘分类器的训练算法。年:第五届计算学习理论研讨会论文集,1992年。ACM,纽约,第144-152页·Zbl 06276209
[5] Byrd,RH;Chin,GM;Neveitt,W;Nocedal,J,《随机Hessian信息在机器学习优化方法中的使用》,SIAM J Optim,21977-995,(2011年)·Zbl 1245.65062
[6] Carrizosa,E;Romero Morales,D,《监督分类和数学优化》,Comput Oper Res,40150-165,(2013年)·Zbl 1349.68135
[7] Cassioli,A;Chiavaioli,A;Manes,C;Scandrone,M,《用于大规模线性分类的增量最小二乘算法》,Eur J Oper Res,224560-565,(2013年)·Zbl 1292.90198
[8] 张建中;徐旭,周永康;林春杰,支持向量机的分解方法分析,IEEE跨神经网络学习系统,11,1003-1008,(2000)
[9] 张国伟;谢希杰;林希杰,大型二阶损失线性支持向量机的坐标下降法,马赫学习研究,91369-1398,(2008)·Zbl 1225.68157
[10] Chapelle,O.训练支持向量机的原始神经计算,191155-1178,(2007)·Zbl 1123.68101
[11] 陈,PH;Fan,RE;Lin,CJ,支持向量机的smo型分解方法研究,IEEE跨神经网络,17893-908,(2006)
[12] Chiang WL,Lee MC,Lin CJ(2016)多核环境下大规模线性分类的并行双坐标下降法。在:第22届ACM-SIGKDD国际知识发现和数据挖掘会议记录,KDD'16。ACM,纽约,1485-1494页
[13] Cortes,C;Vapnik,V,《支持向量网络》,Mach Learn,2073-297,(1995年)·邮政编码:0831.68098
[14] Dai,HY;Fletcher,R.具有上下界的单线性约束二次规划的新算法,数学规划,106403-421,(2006)·Zbl 1134.90030
[15] Fan,RE;Chang,KW;Hieh,CJ;Wang,XR;Lin,CJ,Liblinear:大型线性分类库,J Mach Learn Res,91871-1874,(2008)·Zbl 1225.68175
[16] 范,雷;陈,博士;林,CJ,使用二阶信息训练支持向量机的工作集选择,J Mach Learn Res,61889-1918,(2005)·Zbl 1222.68198
[17] Ferris,MC;Munson,TS,半光滑支持向量机,数学程序B,101185-204,(2004)·Zbl 1076.90041
[18] 《大规模支持向量机的内点方法》,上海大学学报,13783-804,(2002)·Zbl 1039.90092
[19] 《利用低秩核表示的有效支持向量机训练》,J Mach Learn Res,22243-264,(2001)·Zbl 1037.68112
[20] 弗莱彻(1987),《实用优化方法》,第二版。威利,纽约·Zbl 0905.65002
[21] Franc,V;Sonnenburg,S,大规模风险最小化的优化切割平面算法,J Mach Learn Res,102157-2192,(2009)·Zbl 1235.68151
[22] Franc V,Sonnenburg S(2008)支持向量机的优化切割平面算法。在:第25届国际机器学习会议记录,ICML'08。ACM,纽约,第320-327页·Zbl 0997.68108
[23] 冯G,Mangasarian OL(2001)近端支持向量机分类器。第七届ACM-SIGKDD国际知识发现与数据挖掘会议论文集,KDD'01。ACM纽约,第77-86页·Zbl 1101.68758号
[24] Gaudioso,M;Gorgone,E;Labbé,M;Rodríguez Chía,AM,《支持向量机特征选择的拉格朗日松弛法》,Comput OR,87,137-145,(2017)·Zbl 1391.90430
[25] Gertz,EM;Griffin,JD,在生成支持向量机的内点方法中使用迭代线性解算器,Comput Optim Appl,47431-453,(2010)·Zbl 1208.90184
[26] Glasmachers,T;Igel,C,SVM的最大增益工作集选择,J Mach Learn Res,71437-1466,(2006)·Zbl 1222.90040
[27] Goldfarb,D;Scheinberg,K,《凸二次规划内点方法中的数值稳定ldlt分解》,IMA J Numer Anal,28806-826,(2008)·Zbl 1155.65350
[28] Golub GH,Van Loan CF(1996)《矩阵计算》,第3版。巴尔的摩约翰霍普金斯大学出版社
[29] 谢希杰,张国伟,林希杰,Keerthi SS,Sundararajan S(2008)大规模线性支持向量机的双坐标下降方法。在:第25届国际机器学习会议记录,ICML'08。ACM,纽约,第408-415页
[30] 神经网络向量机的比较,HS415-A,2002
[31] 徐旭;林春杰,支持向量机的一种简单分解方法,马赫学习,46291-314,(2002)·Zbl 0998.68108
[32] Teo,CH;Vishwanthan,SVN;Smola,AJ;Le,QV,正则化风险最小化的捆绑方法,J Mach Learn Res,11311-365,(2010)·Zbl 1242.68253
[33] Joachims T(1999)核方法的进展。使大规模支持向量机学习实用化。麻省理工学院出版社,剑桥,169-184页
[34] Joachims T(2006)在线性时间内训练线性支持向量机。在:第12届ACM-SIGKDD国际知识发现和数据挖掘会议论文集,KDD'06。纽约ACM,第217-226页·Zbl 0193.45201
[35] Joachims,T;Finley,T;Yu,CNJ,结构SVM的切割平面训练,Mach Learn,77,27-59,(2009)·Zbl 1235.68161
[36] 余建民,T;Yu,CNJ,通过切割平面训练稀疏核支持向量机,Mach Learn,76179-193,(2009)
[37] 《大规模线性支持向量机快速求解的修正有限牛顿法》,J Mach Learn Res,6341-361,(2005)·Zbl 1222.68231
[38] 《广义smo算法在支持向量机分类器设计中的收敛性》,《机器学习》,46351-360,(2002)·Zbl 0998.68109
[39] 张建中,张建中,张建中,张建中,高斯核支持向量机的渐近行为,神经计算,15,1667-1689,(2003)·Zbl 1086.68569
[40] 《随机过程的贝叶斯估计与样条函数平滑的对应关系》,数学统计,41495-502,(1970)·Zbl 0193.45201
[41] Kiwiel,KC,连续二次背包问题的断点搜索算法,数学程序,112473-491,(2008)·Zbl 1190.90121
[42] Le,QV;Smola,AJ;Vishwanathan,S;Platt,JC(编辑);Koller,D(编辑);Singer,Y(编辑);Roweis,ST(编辑),《机器学习的捆绑方法》,1377-1384,(2008),纽约
[43] Lee MC,Chiang WL,Lin CJ(2015)共享存储系统上大规模logistic回归的快速矩阵向量乘法。作者:Aggarwal C,Zhou Z-H,Tuzhilin A,Xiong H,Wu X(编辑)ICDM。IEEE计算机协会,第835-840页
[44] 李永杰,李永杰;李永杰,OL,SSVM:一种用于分类的平滑支持向量机,计算机优化应用,20,5-22,(2001)·Zbl 1017.90105
[45] Lin,C-J;Lucidi,S;Palagi,L;Risi,A;Scandrone,M,《具有上下界的单线性约束问题的分解算法模型》,J Optim Theory Appl,141107-126,(2009)·Zbl 1168.90556
[46] 林春杰,支持向量机的公式化:从最优化的角度看问题,神经计算,13307-317,(2001)·Zbl 0973.68201
[47] 林春杰,关于支持向量机分解方法的收敛性,IEEE跨神经网络,12128-1298,(2001)
[48] 林春杰,无假设条件下SMO算法的渐近收敛性,IEEE跨神经网络,13248-250,(2002)
[49] 网络支持向量机的形式化分解方法,2002年
[50] 林希杰;莫雷,JJ,牛顿法求解大边界约束优化问题,暹罗J Optim,91100-1127,(1999)·Zbl 0957.65064
[51] Lucidi,S;Palagi,L;Risi,A;Scandrone,M,《支持向量机的收敛分解算法》,Comput Optim Appl,38217-234,(2007)·Zbl 1172.90443
[52] Lucidi,S;Palagi,L;Risi,A;Scandrone,M,《支持向量机训练的收敛混合分解算法模型》,IEEE Trans-Neural Netw,201055-1060,(2009)
[53] Mangasarian OL(1994)非线性规划。应用数学经典。工业与应用数学学会。978.711亿美元·Zbl 1391.90430
[54] Mangasarian,OL,有限牛顿分类法,Optim方法软件,17913-929,(2002)·Zbl 1065.90078
[55] 李国平,李国平,李国平,李国平,李国平,李国平,李国平,李国平,李国平,2001年,第7期,第1517-1530页,2006年·Zbl 1211.68329
[56] Mangasarian,OL;Musicant,DR,支持向量机的连续超松弛,IEEE Trans-Neural Netw,101032-1037,(1999)
[57] Mangasarian,OL;Musicant,博士,拉格朗日支持向量机,J Mach Learn Res,161-177,(2001)·Zbl 0997.68108
[58] Mavroforakis,ME;Theodoridis,S,《支持向量机(SVM)分类的几何方法》,IEEE Trans-Neural Netw,17671-682,(2006)
[59] Osuna E,Freund R,Girosi F(1997)支持向量机的改进训练算法。在:神经网络信号处理VII。IEEE信号处理学会论文集第276-285页·Zbl 1222.68198
[60] Osuna E,Freund R,Girosit F(1997)《训练支持向量机:人脸检测的应用》。IEEE计算机学会计算机视觉与模式识别会议论文集,130-136页·Zbl 1039.90092
[61] Palagi,L;Scandrone,M,关于svmlight算法修正版本的收敛性,Optim Methods Softw,20,315-332,(2005)·Zbl 1072.90042号
[62] 帕达洛斯,PM;科沃尔,N,一类受上下界约束的二次规划的算法,数学程序,46321-328,(1990)·Zbl 0711.90061
[63] Platt JC(1999)核方法的进展。第二章基于序列最小优化的支持向量机快速训练。麻省理工学院出版社,剑桥,185-208页
[64] Scholkopf B,Smola AJ(2001)用核学习:支持向量机,正则化,优化,及其他。麻省理工学院出版社,剑桥
〔65〕 Shalev Shwartz,S;Singer,Y;Srebro,N;Cotter,A,Pegasos:支持向量机的原始估计次梯度解算器,数学程序,127,3-30,(2011)·Zbl 1211.90239
[66] Shawe Taylor J,Cristianini N(2004)模式分析的核方法。纽约剑桥大学出版社
[67] Suykens,JAK;Vandewalle,J.最小二乘支持向量机分类器,神经过程Lett,9293-300,(1999)
[68] Glasmachers T,Dogan U(2013)采用自适应坐标频率加速坐标下降。在:亚洲机器学习会议,ACML 2013,堪培拉,ACT,澳大利亚,第72-86页
〔69〕 《基于梯度投影的支持向量机分解技术中的工作集选择》,Optim Methods Softw,20583-596,(2005)·Zbl 1116.90115
[70] 曾志伟,郭,JT,张,PM,核心向量机:超大数据集上的快速支持向量机训练,J Mach Learn Res,6363-392,(2005)·Zbl 1222.68320号
[71] Vapnik VN(1998)统计学习理论。Wiley Interscience,纽约
[72] Wang,PW;Lin,CJ,凸优化可行下降法的迭代复杂性,J Mach Learn Res,15,1523-1548,(2014)·Zbl 1319.90051
[73] Wang,Z;Crammer,K;Vucetic,S,《打破核化的诅咒:大规模支持向量机训练的预算随机梯度下降》,J Mach Learn Res,133103-3131,(2012)·Zbl 1433.68383
[74] Woodsend,K;Gondzio,J,混合mpi/openmp并行线性支持向量机训练,Mach Learn Res,101937-1953,(2009)·Zbl 1235.68205
[75] 《大规模线性支持向量机训练中的可分离性挖掘》,计算机优化应用,49241-269,(2011)·Zbl 1219.90210
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。