徐阳阳；艾奥尼斯·阿克罗提里亚纳基斯；查克拉波蒂，阿米特 huberized支持向量机的近似梯度法。 （英语） Zbl 1425.68358号 PAA，模式分析。应用。 第41989-1005号（2016）. 摘要：支持向量机（SVM）已被广泛应用于各种分类问题中。原始SVM使用铰链损失函数，该函数是不可微的，使得问题很难解决，特别是对于正则化SVM，例如使用（ell_1）-正则化。本文考虑了Huberized SVM（HSVM），它使用铰链损失函数的可微近似。我们首先探讨了近端梯度（PG）方法在求解二类HSVM（B-HSVM）中的应用，然后将其推广到多类HSVM。在强凸性假设下，我们证明了我们的算法线性收敛。此外，我们给出了关于解的支持度的有限收敛性结果，在此基础上，我们用两阶段方法进一步加速了算法。我们在合成数据集和实际数据集上进行了大量的数值实验，证明了我们的方法在二进制和多类SVM中优于一些最先进的方法。 引用于7文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62H30型 分类和区分；聚类分析（统计方面） 关键词：支持向量机；近似梯度法；二分类和多分类问题；huberized铰链损失；弹性网；线性收敛 软件：塞杜米；LIBLINEAR公司；CVX公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Xu}等人，PAA，模式分析。申请。19，第4号，989--1005（2016；Zbl 1425.68358） 全文： 内政部 arXiv公司 参考文献： [1] Beck A，Teboulle M（2009）线性反问题的快速迭代收缩阈值算法。SIAM成像科学杂志2（1）：183-202·Zbl 1175.94009号 ·doi:10.1137/080716542 [2] Bolt J，Danilidis A，Lewis A（2007）非光滑次分析函数的lojasiewicz不等式及其在次梯度动力系统中的应用。SIAM J Optim 17（4）：1205-1223·兹比尔1129.26012 ·doi:10.1137/050644641 [3] Bottou L、Cortes C、Denker JS、Drucker H、Guyon I、Jackel LD、LeCun Y、Muller UA、Sackinger E、Simard P等人（1994）《分类器方法的比较：手写数字识别的案例研究》。载：第12届IAPR国际模式识别会议论文集，第2卷，第77-82页。电气与电子工程师协会 [4] Boyd S，Vandenberghe L（2004）凸优化。剑桥大学出版社·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [5] Brown MPS、Grundy WN、Lin D、Cristianini N、Sugnet CW、Furey TS、Ares M、Haussler D（2000）使用支持向量机对微阵列基因表达数据进行基于知识的分析。美国国家科学院院刊97（1）：262·doi:10.1073/pnas.97.1.262 [6] 陈振宇、范志平、孙明河（2012）使用纵向行为数据预测客户流失的分层多核支持向量机。欧洲运营研究杂志223（2）：461-472·Zbl 1292.68131号 ·doi:10.1016/j.ejor.2012.06.040 [7] Cortes C、Vapnik V（1995）《支持向量网络》。马赫数学习20（3）：273-297·Zbl 0831.68098号 [8] Czarnecki WM，Tabor J（2014）两个椭球支持向量机。实验系统应用41:8211-8224·doi:10.1016/j.eswa.2014.07.015 [9] Demšar Janez（2006）多个数据集上分类器的统计比较。J Mach学习研究7:1-30·Zbl 1222.68184号 [10] Dudoit S，Fridland J，Speed TP（2002）使用基因表达数据进行肿瘤分类的鉴别方法比较。美国统计协会杂志97（457）：77-87·Zbl 1073.62576号 ·doi:10.1198/016214502753479248 [11] 范荣恩，常开伟，谢卓奎，王祥瑞，林志仁（2008）Liblinear：大型线性分类库。J Mach学习研究9:1871-1874·Zbl 1225.68175号 [12] 弗里德曼·米尔顿（1937）使用秩来避免方差分析中隐含的正态假设。美国统计协会杂志32（200）：675-701·doi:10.1080/01621459.1937.10503522 [13] 弗里德曼·米尔顿（1940）《m排名问题重要性替代测试的比较》。数学年鉴11（1）：86-92·doi:10.1214/aoms/1177731944 [14] Galar M，Fernandez A，Barrenehea E，Herrera F（2015）Drcw ovo：多类问题中一对一策略的基于距离的相对能力加权组合。模式识别器48:28-42·doi:10.1016/j.patcog.2014.07.023 [15] Galar Mikel，Fernández Alberto，Barrenechea Edurne，Bustince Humberto，Herrera Francisco（2011）多类问题中二进制分类器集成方法概述：一对一和一对所有方案的实验研究。图案识别44（8）：1761-1776·doi:10.1016/j.patcog.2011.01.017 [16] Golub TR、Slonim DK、Tamayo P、Huard C、Gaasenbeek M、Mesirov JP、Coller H、Loh ML、Downing JR、Caligiuri MA等人（1999）《癌症的分子分类：通过基因表达监测进行类别发现和预测》，《科学》286（5439）：531-537·doi:10.1126/science.286.5439.531 [17] Hale ET，Yin W，Zhang Y（2008）《l1-最小化的定点延拓：方法论和收敛性》。SIAM J Optim公司19（3）：1107-1130·兹比尔1180.65076 ·数字对象标识代码：10.1137/070698920 [18] Heisele B，Ho P，Poggio T（2001），支持向量机人脸识别：全局与基于组件的方法。摘自：《计算机视觉》，2001年。ICCV 2001。诉讼程序。第八届IEEE国际会议，第2卷，第688-694页。电气与电子工程师协会 [19] Holm S（1979）一种简单的顺序拒绝多重试验程序。扫描J统计65-70·Zbl 0402.62058号 [20] Hsu CW，Lin CJ（2002）多类支持向量机方法的比较。神经网络IEEE Trans 13（2）：415-425·doi:10.1109/72.991427 [21] CVX Research，Inc.CVX:Matlab软件，用于严格的凸编程，2.0 beta版（2012）。http://cvxr.com/cvx2012年9月 [22] Keerthi SS，DeCoste D（2006）用于快速求解大规模线性svm的修正有限牛顿法。J Mach学习研究6（1）：341·Zbl 1222.68231号 [23] Khan J、Wei JS、Rinnér M、Saal LH、Ladanii M、Westermann F、Berthold F、Schwab M、Antonescu CR、Peterson C等人（2001），使用基因表达谱和人工神经网络对癌症进行分类和诊断预测。国家医学7（6）：673-679·数字对象标识代码：10.1038/89044 [24] Kim KI，Jung K，Park SH，Kim HJ（2002）纹理分类的支持向量机。模式分析-机械智能IEEE Trans 24（11）：1542-1550·doi:10.1109/TPAMI.2002.1046177 [25] Knerr S、Personnaz L、Dreyfus G（1990）《单层学习重访：构建和训练神经网络的逐步程序》。摘自：《神经计算》，第41-50页。施普林格 [26] Krawcczyk B、Wozniak M、Cyganek B（2014）基于聚类的一级分类系综。信息科学264:182-195·Zbl 1335.68205号 ·doi:10.1016/j.ins.2013.12.19 [27] Kurdyka K（1998）关于o-极小结构中可定义函数的梯度。载于：《傅立叶研究所年鉴》，第48卷，第769-784页。沙特尔：L'Institut，1950年·Zbl 0934.32009 [28] Lacoste-Julien S、Jaggi M、Schmidt M、Pletscher P（2012），结构svm的区块协调直白-嗅觉优化。arXiv预打印arXiv:1207.4747 [29] Lee Y，Lin Y，Wahba G（2004）多类别支持向量机。美国统计学会杂志99（465）：67-81·Zbl 1089.62511号 ·doi:10.1198/016214500000098 [30] Li J，Jia Y（2010）用于微阵列分类的Huberized多类支持向量机。《汽车学报》36（3）：399-405·Zbl 1240.68189号 [31] Li Qi，Salman Raied，Test Erik，Strack Robert，Kecman Vojislav（2013）使用gpu的支持向量机并行多任务交叉验证。J并行分布计算73（3）：293-302·doi:10.1016/j.jpdc.2012.02.011 [32] Łojasiewicz S（1993）《苏拉盖梅特里半群分析》。Ann Inst Fourier（格勒诺布尔）43（5）：1575-1595·Zbl 0803.32002号 ·doi:10.5802/aif.1384 [33] Nesterov Y（2004）关于凸优化的介绍性讲座，第87卷。基础课程·Zbl 1086.90045号 [34] Nesterov Y（2007）最小化复合目标函数的梯度方法。核心讨论文件 [35] 欧阳浩，何宁，Tran L，Gray A（2013）乘数的随机交替方向法。摘自：第30届国际机器学习会议记录，第80-88页 [36] Platt JC、Cristianini N、Shawe-Taylor J（2000）多类分类的大边距dags。高级神经信息处理系统12（3）：547-553 [37] 齐志泉，田英杰，石勇（2013）结构双支持向量机分类。基于知识的系统43:74-81·Zbl 1248.68441号 ·doi:10.1016/j.knosys.2013.01.008 [38] Schmidt M，Roux NL，Bach F（2011）凸优化非精确近似粒度方法的收敛速度。Arxiv预打印Arxiv:1109.2415 [39] Sturm JF（1999）使用SeDuMi 1.02，一个用于对称锥体优化的MATLAB工具箱。Optim Methods Softw 11（1-4）：625-653·Zbl 0973.90526号 ·doi:10.1080/10556789908805766 [40] Tibshirani R（1996）通过套索进行回归收缩和选择。J R Stat Soc序列B 58（1）：267-288·Zbl 0850.62538号 [41] Tsyurmasto P、Zabarankin M、Uryasev S（2014）价值-风险支持向量机：对异常值的稳定性。J Comb优化1-15·Zbl 1304.90181号 [42] 王磊、沈X（2007）论\[{五十} _1个\]L1-形式多类支持向量机。美国统计协会杂志102（478）：583-594·Zbl 1172.62317号 ·doi:10.1198/0162145000001383 [43] 王磊，朱杰，邹H（2006）双正则支持向量机。统计Sin 16（2）：589·Zbl 1126.68070号 [44] Wang L，Zhu J，Zou H（2008）用于微阵列分类和基因选择的混合huberized支持向量机。生物信息学24（3）：412-419·doi:10.1093/bioinformatics/btm579 [45] Wilcoxon F（1945）通过排名方法进行的个体比较。Biom Bull第80-83页 [46] Xu Y，Yin W（2013）正则化多凸优化的块坐标下降方法及其在非负张量分解和补全中的应用。SIAM影像科学杂志6（3）：1758-1789·Zbl 1280.49042号 ·数字对象标识代码：10.1137/120887795 [47] Xu Y，Yin W（2014）基于块坐标更新的非凸优化全局收敛算法。Arxiv预打印Arxiv:1410.1386·Zbl 1378.65126号 [48] Yang Yi，Zou Hui（2013）计算hhsvm的有效算法及其推广。J计算图统计22（2）：396-415·doi:10.1080/10618600.2012.680324 [49] Ye GB，Chen Y，Xie X（2011）基于交替方向乘数法的支持向量机高效变量选择。收录：《国际人工智能与统计会议论文集》 [50] Zhang H，Liu Y，Wu Y，Zhu J（2008）基于自适应超形式正则化的多类别svm变量选择。电子J统计2:149-167·Zbl 1135.62056号 ·doi:10.1214/08-EJS122 [51] Zhang Yang，Meratnia Nirvana，Havinga Paul JM（2013）使用椭球支持向量机在无线传感器网络中进行分布式在线异常检测。特设网络11（3）：1062-1074·doi:10.1016/j.adhoc.2012.11.001 [52] 邹J，Hastie T（2005）通过弹性网的正则化和变量选择。J R Stat Soc系列B 67（1）：301-320·Zbl 1069.62054号 ·文件编号：10.1111/j.1467-9868.2005.005.x 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。