×

大规模线性非并行SVM。 (英语) Zbl 1398.68447号

摘要:大规模问题一直是机器学习领域的一个非常活跃的话题。在大数据时代,解决这些问题是一项具有挑战性和意义的工作。标准支持向量机能够有效地对大规模问题进行线性分类,训练时间可接受,预测精度高。然而,在基准数据集上,非并行SVM(NPSVM)和斜坡损失非并行SVV(RNPSVM)的性能优于SVM。它有动机将NPSVM引入大规模问题领域。本文提出用交替方向乘数法(ADMM)求解大规模线性NPSVM来处理大规模分类问题。ADMM将大问题分解为小问题,避免解决棘手问题,提高训练速度。NPSVM的原问题是凸的、可微的,可以直接由ADMM来处理。但RNPSVM的目标函数由凸函数和凹函数组成,应首先用CCCP算法进行处理,并转换为一系列凸程序。然后,我们在每次迭代中应用ADMM来求解这些程序。大规模问题的NPSVM实验证明,该算法能够有效地对大规模任务进行分类。

MSC公司:

68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Akbani R,Kwek S,Japkowicz N(2004)将支持向量机应用于不平衡数据集。收录:机器学习:ECML 2004,柏林斯普林格,第39-50页·兹比尔1132.68523
[2] 阿伦·库马尔(Arun Kumar),M;Gopal,M,用于模式分类的最小二乘双支持向量机,专家系统应用,367535-7543,(2009)·doi:10.1016/j.eswa.2008.09.066
[3] 巴斯卡,BN;唐,G;Recht,B,原子范数去噪及其在线谱估计中的应用,IEEE Trans-Signal Process,615987-5999,(2013)·Zbl 1394.94079号 ·doi:10.1109/TSP.2013.2273443
[4] 博伊德,S;帕里赫,N;楚,E;佩莱托,B;Eckstein,J,《通过交替方向乘数法进行分布式优化和统计学习》。《马赫学习》(Mach Learn)第3期第1-122页(2011年)中的基金会和趋势·Zbl 1229.90122号
[5] 布莱德利,PS;Mangasarian,OL,通过凹最小化和支持向量机进行特征选择,ICML,98,82-90,(1998)
[6] 科尔特斯,C;Vapnik,V,支持向量网络,马赫学习,20273-297,(1995)·Zbl 0831.68098号
[7] Deng J,Berg AC,Li K,Fei-Fei L(2010)对10000多个图像类别进行分类告诉了我们什么?In:Computer vision-ECCV 2010,柏林施普林格,第71-84页
[8] Deng N,Tian Y(2004)数据挖掘的新方法:支持向量机。北京科学出版社
[9] Deng N,Tian Y,Zhang C(2012)支持向量机:基于优化的理论、算法和扩展。博卡拉顿CRC出版社·Zbl 1278.68011号
[10] 风机,RE;Chang,千瓦;谢长廷;王,XR;Lin,CJ,Liblinear:大型线性分类库,J Mach Learn Res,91871-1874,(2008)·Zbl 1225.68175号
[11] Guyon,我;韦斯顿,J;巴恩希尔,S;Vapnik,V,使用支持向量机进行癌症分类的基因选择,Mach-learn,46389-422,(2002)·Zbl 0998.68111号 ·doi:10.1023/A:1012487302797
[12] 贾亚德瓦(Jayadeva),RK;C、 S,用于模式分类的双支持向量机,IEEE Trans-pattern Ana Mach Intell,29905-910,(2007)·doi:10.1109/TPAMI.2007.1068
[13] Kasiviswanathan SP、Melville P、Banerjee A、Sindhwani V(2011)《使用字典学习的新兴主题检测》。摘自:第20届ACM信息和知识管理国际会议记录,ACM,第745-754页
[14] 马萨诸塞州库马尔;Gopal,M,平滑技术在双支持向量机上的应用,模式识别快报,291842-1848,(2008)·doi:10.1016/j.patrec.2008.05.016
[15] Li W,Zhao R,Wang X(2012)《迁移度量学习的人类再鉴定》。In:ACCV(1),第31-44页
[16] 刘,D;Shi,Y;田,Y,用于模式分类的斜坡损失非平行支持向量机,基于知识的系统,85,224-233,(2015)·doi:10.1016/j.knosys.2015.05.008
[17] Ma J,Saul LK,Savage S,Voelker GM(2009)《识别可疑URL:大规模在线学习的应用》。在:第26届机器学习国际年会论文集,ACM,第681-688页
[18] Maas AL、Daly RE、Pham PT、Huang D、Ng AY、Potts C(2011)《情感分析的学习词向量》。摘自:计算语言学协会第49届年会论文集:人类语言技术——第1卷,计算语言学协会,第142-150页
[19] 希腊奈克;丹麦库马尔;等。,使用表面肌电图进行手势分类的双SVM,IEEE Trans-Inf Technol Biomed,14301-308,(2010)·doi:10.1109/TITB.2009.2037752
[20] 齐,Z;田,Y;Shi,Y,具有通用数据的双支持向量机,神经网络,36,112-119,(2012)·Zbl 1258.68122号 ·doi:10.1016/j.neunet.2012.09.004
[21] 齐,Z;田,Y;Shi,Y,用于模式分类的稳健双支持向量机,模式识别,46,305-316,(2013)·兹比尔1248.68441 ·doi:10.1016/j.patcog.2012.06.019
[22] 齐,Z;田,Y;Shi,Y,用于通用学习分类问题的非并行支持向量机,计算应用数学杂志,263288-298,(2014)·Zbl 1373.68332号 ·doi:10.1016/j.cam.2013.11.003
[23] 邵,Y;张,C;王,X;邓,N,双支持向量机的改进,IEEE Trans Neural Netw,22962-968,(2011)·doi:10.1109/TNN.2011.2130540
[24] Tan J,Zhang C,Deng N(2010)基于p-范数支持向量机的癌症相关基因识别。摘自:第四届计算系统生物学国际会议,第1卷,第101-108页
[25] 田,Y;Ping,Y,大型线性非并行支持向量机求解器,神经网络,50166-174,(2014)·Zbl 1298.68231号 ·doi:10.1016/j.neunet.2013.11.014
[26] 田,Y;Ju、X;齐,Z;Shi,Y,改进的双支持向量机,科学中国数学,57,417-432,(2014)·Zbl 1290.90059号 ·doi:10.1007/s11425-013-4718-6
[27] 田,Y;齐,Z;Ju、X;史,Y;Liu,X,用于模式分类的非并行支持向量机,IEEE Trans-Cybern,44,1067-1079,(2014)·doi:10.1109/TCYB.2013.279167
[28] 田,Y;张,Q;Liu,D,\(ν\)-用于模式分类的非并行支持向量机,神经计算应用,251007-1020,(2014)·doi:10.1007/s00521-014-1575-3
[29] 田,Y;Ju、X;Shi,Y,大型非并行支持向量机的一种分合方法,神经网络,75,12-21,(2016)·Zbl 1414.68080号 ·doi:10.1016/j.neunet.2015.11.008
[30] Vapnik V(1998)统计学习理论。纽约威利·Zbl 0935.62007号
[31] Vapnik V(2000)统计学习理论的本质。柏林施普林格·Zbl 0934.62009号 ·doi:10.1007/978-1-4757-3264-1
[32] 韦斯顿,J;沃特金斯,C;等。,用于多类模式识别的支持向量机,ESANN,99,219-224,(1999)
[33] 张,HH;安,J;林,X;Park,C,使用非凸惩罚的支持向量机进行基因选择,生物信息学,22,88-95,(2006)·doi:10.1093/bioinformatics/bti736
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。