张冲;明尼苏达州范市;傅、盛;刘玉峰 使用差分凸算法的鲁棒多类别支持向量机。 （英语） Zbl 1397.90319号 数学。程序。 169，编号1（B），277-305（2018）. 摘要：支持向量机（SVM）是机器学习文献中最流行的分类方法之一。二进制SVM方法已经得到了广泛的研究，并在各个学科取得了许多成功。然而，推广到多类别SVM（MSVM）方法可能非常具有挑战性。许多现有的方法为具有显式和零约束的类估计（k）函数。最近的研究表明，这种配方可能是次优的。此外，许多现有的MSVM不是Fisher一致的，或者没有考虑异常值的影响。本文重点研究基于角度的框架中的分类，该框架不受显式和零约束，因此效率更高，并提出了两种使用截断铰链损失函数的鲁棒MSVM方法。我们表明，我们的新分类器可以享受Fisher一致性，同时减轻离群值的影响，以实现更稳定的分类性能。为了实现我们提出的分类器，我们使用差分凸算法进行高效计算。理论和数值结果表明，对于具有潜在离群值的问题，我们的鲁棒基于角度的MSVM在现有方法中具有很强的竞争力。 引用于5文件 MSC公司： 90C26型 非凸规划，全局优化 62H30型 分类和区分；聚类分析（统计方面） 关键词：差分凸算法;费希尔一致性;离群值;截断铰链损失 软件：橙色;全球供应链;UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit{C.Zhang}等人，数学。程序。169，编号1（B），277--305（2018；Zbl 1397.90319） 全文： 内政部 参考文献： [1] Arora，S.、Bhattacharjee，D.、Nasipuri，M.、Malik，L.、Kundu，M.和Basu，D.K.：手写Devnagari字符识别的SVM和ANN性能比较。arXiv预印arXiv:1006.5902（2010） [2] Bache，K.，Lichman，M.：UCI机器学习库。加州大学欧文分校信息与计算机科学学院。http://archive.ics.uci.edu/ml (2013) ·Zbl 1126.68070号 [3] Bartlett，P.L.，Mendelson，S.：拉德马赫和高斯复杂性：风险边界和结构结果。J.马赫。学习。第3463-482号决议（2002年）·Zbl 1084.68549号 [4] Bartlett，P.L.，Bousquet，O.，Mendelson，S.：局部同志复杂性。Ann.Stat.33（4），1497-1537（2005）·Zbl 1083.62034号 ·doi:10.1214/009053605000000282 [5] Bartlett，P.L.，Jordan，M.I.，McAuliffe，J.D.：凸性、分类和风险边界。《美国统计协会期刊》101，138-156（2006）·兹比尔1118.62330 ·doi:10.1198/01621450000000907 [6] 博瑟，BE；盖恩，IM；Vapnik，VN；Haussler，D.（ed.），最佳边缘分类器的训练算法，144-152（1992），纽约·doi:10.1145/130385.130401 [7] Caruana，R.，Karampatziakis，N.，Yessenalina，A.：高维度监督学习的实证评估。摘自：《第25届机器学习国际会议论文集》，第96-103页。ACM（2008）·Zbl 1359.90106号 [8] Cortes，C.，Vapnik，V.N.：支持向量网络。机器。学习。20, 273-297 (1995) ·Zbl 0831.68098号 [9] Crammer，K.，Singer，Y.：关于基于核的多类向量机的算法实现。J.马赫。学习。第2号决议，265-292（2001）·Zbl 1037.68110号 [10] Cristianini，N.，Shawe-Taylor，J.S.：《支持向量机导论》，第1版。剑桥大学出版社，剑桥（2000）·Zbl 0994.68074号 [11] Demšar，J.，Curk，T.，Erjavec，A.，乔特·戈鲁普，Hočevar，T.、Milutinović，M.、Moćina，M..、Polajnar，M.，Toplak，M.:斯塔里奇，A.、Štajdohar，M.-、Umek，L.、Žagar，L.，\381]博塔，J.、ūitnik，M.和Zupan，B.：橙色：python中的数据挖掘工具箱。J.马赫。学习。决议14:2349-2353。http://jmlr.org/papers/v14/demsar13a.html (2013) ·Zbl 1317.68151号 [12] Freund，Y.，Schapire，R.E.：在线学习的设计理论概括和助推应用。J.计算。系统。科学。55(1), 119-139 (1997) ·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [13] Guermeur，Y.，Monfrini，E.：应用半径边界的二次损失多类SVM。Informatica 22（1），73-96（2011）·Zbl 1263.68132号 [14] Hastie，T.J.、Tibshirani，R.J.、Friedman，J.H.：《统计学习的要素》，第二版。施普林格，纽约（2009）·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7 [15] Xieh，C.，Chang，K.，Lin，C.，Keerthi，S.，Sundarajan，S.：大规模线性SVM的双坐标下降方法。摘自：《第25届机器学习国际会议论文集》，ICML'08，第408-415页（2008）·Zbl 0905.90131号 [16] Justino，E.J.R.，Bortolozzi，F.，Sabourin，R.：离线签名验证中SVM和HMM分类器的比较。模式识别。莱特。26(9), 1377-1385 (2005) ·doi:10.1016/j.patrec.2004.11.015 [17] Kiwiel，K.，Rosa，C.，Ruszczynski，A.：通过交替线性化的近似分解。SIAM J.Optim公司。9(3), 668-689 (1999) ·Zbl 0958.65068号 ·doi:10.1137/S1052623495288064 [18] Koltchinskii，V.：风险最小化中的局部Rademacher复杂性和预言不等式。Ann.Stat.34（6），2593-2656（2006年）·Zbl 1118.62065号 ·doi:10.1214/009053606000001019 [19] Koltchinskii，V.，Panchenko，D.：经验边缘分布和组合分类器泛化误差的边界。Ann.Stat.30（1），1-50（2002）·兹比尔1012.62004 [20] Le Thi，H.A.，Pham Dinh，T.：用DC算法求解一类线性约束的不定二次型问题。J.全球。最佳方案。11(3), 253-285 (1997) ·兹标0905.90131 ·doi:10.1023/A:1008288411710 [21] Le Thi，H.A.，Pham Dinh，T.：DC（凸函数的差异）编程和DCA用真实世界非凸优化问题的DC模型重新审视。安·Oper。第133、23-46号决议（2005年）·兹伯利1116.90122 ·doi:10.1007/s10479-004-5022-1 [22] Le Thi，H.A.，Pham Dinh，T.：DC编程和DCA的最新技术。洛林大学研究报告（60页）（2013年）·Zbl 1263.68132号 [23] Le Thi，H.A.，Pham Dinh，T.：DC编程和DCA的最新进展。事务处理。计算。收集。智力。8342, 1-37 (2014) [24] Le Thi，H.A.，Le，H.M.，Pham Dinh，T.：支持向量机学习中用于特征选择的dc编程方法。高级数据分析。分类。2(3), 259-278 (2008) ·Zbl 1284.90057号 ·doi:10.1007/s11634-008-0030-7 [25] Le Thi，H.A.、Huynh，V.N.、Pham Dinh，T.：通用DC程序的DC编程和DCA。高级智能。系统。计算。15-35. ISBN 978-3-319-06568-7（2014）·Zbl 1322.90072号 [26] Lee，Y.、Lin，Y.和Wahba，G.：多类别支持向量机，理论，以及在微阵列数据和卫星辐射数据分类中的应用。《美国统计协会期刊》第99卷，第67-81页（2004年）·Zbl 1089.62511号 ·doi:10.1198/016214500000098 [27] Lin，X.，Wahba，G.，Xiang，D.，Gao，F.，Klein，R.，Klean，B.：具有bernoulli观测值和随机GACV的大型数据集的平滑样条方差分析模型。Ann.Stat.28（6），1570-1600（2000）·Zbl 1105.62358号 ·doi:10.1214/aos/1015957471 [28] Lin，X.，Pham，M.，Ruszczynski，A.：结构化正则化问题的交替线性化。J.马赫。学习。第15号决议，3447-3481（2014年）·Zbl 1319.62146号 [29] Lin，Y.：支持向量机的一些渐近性质。麦迪逊威斯康星大学统计系技术报告1044r（1999） [30] Liu Y（2007）多类别支持向量机的Fisher一致性。摘自：第十一届国际人工智能与统计会议，第289-296页·Zbl 1118.62065号 [31] Liu，Y.，Shen，X.：多类别\[\psi\]ψ-学习。J.Am.Stat.Assoc.101，500-509（2006年）·Zbl 1119.62341号 ·doi:10.19198/0162114505000000781 [32] Liu，Y.，Yuan，M.：增强型多类别支持向量机。J.计算。Gr.Stat.20（4），901-919（2011）·文件编号：10.1198/jcgs.2010.09206 [33] Liu，Y.，Zhang，H.H.，Wu，Y.:软分类还是硬分类？大利润统一机器。《美国统计协会期刊》106、166-177（2011）·Zbl 1396.62144号 ·doi:10.1198/jasa.2011.tm10319 [34] McDiarmid，C.：关于有界差分法。摘自：《组合数学调查》，剑桥大学出版社，剑桥，第148-188页（1989年）·Zbl 0712.05012号 [35] Mohri，M.，Rostamizadeh，A.，Talwalkar，A.：机器学习基础。麻省理工学院出版社，马萨诸塞州剑桥（2012）·Zbl 1318.68003号 [36] Nesterov，Y.：坐标下降法在大规模优化问题上的效率。SIAM J.Optim公司。22(4), 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001 [37] Pang，J.S.，Razaviyayn，M.，Alvarado，A.：计算非光滑DC程序的B平稳点。数学。操作。第42号决议，第95-118号决议（2016年）·Zbl 1359.90106号 ·doi:10.1287/门.2016.0795 [38] 普拉特，J。；Schölkopf，B.（编辑）；Burges，JC（编辑）；Smola，AJ（ed.），使用序列最小优化快速训练支持向量机，185-208（1999），美国 [39] Shawe-Taylor，J.S.，Cristianini，N.：模式分析的核心方法，第1版。剑桥大学出版社，剑桥（2004）·Zbl 0994.68074号 ·doi:10.1017/CBO9780511809682 [40] Steinwart，I.，Scovel，C.：使用高斯核的支持向量机的快速率。《Ann.Stat.》35（2），575-607（2007）·Zbl 1127.68091号 ·doi:10.1214/009053606000001226 [41] Tseng，P.：用于线性约束平滑优化和支持向量机训练的坐标梯度下降方法。J.计算。最佳方案。申请。47(4), 179-206 (2010) ·Zbl 1226.90062号 ·doi:10.1007/s10589-008-9215-4 [42] van der Vaart，A.W.，Wellner，J.A.：弱收敛和经验过程及其在统计学中的应用，第1版。施普林格，柏林，纽约州纽约市（2000年）·Zbl 0862.60002号 [43] Vapnik，V.N.：统计学习理论。威利，纽约（1998）·Zbl 0935.62007号 [44] 瓦赫巴，G。；Schölkopf，B.（编辑）；Burges，JC（编辑）；Smola，AJ（编辑），支持向量机，再现核希尔伯特空间和随机GACV，69-88（1999），美国 [45] Wang，L.，Shen，X.：关于L1型多类支持向量机：方法论和理论。《美国统计协会期刊》102，595-602（2007）·兹比尔1172.62322 ·doi:10.1198/0162145000001392 [46] Wang，L.，Zhu，J.，Zou，H.：双重正则化支持向量机。统计正弦。16589-615（2006年）·Zbl 1126.68070号 [47] Wu，Y.，Liu，Y.:关于多类别截断无指支持向量。摘自：预测与发现：AMS-IMS-SIAM联合夏季研究会议，机器与统计学习：预测与探索，2006年6月25-29日，犹他州雪鸟，美国数学学会，第443卷，第49-58页（2006）·Zbl 1145.62049号 [48] Wu，Y.，Liu，Y.:鲁棒截断铰链损失支持向量机。《美国统计协会期刊》102（479），974-983（2007）·Zbl 1469.62293号 ·doi:10.1198/0162145000000617 [49] Zhang，C.，Liu，Y.：基于多类别角度的大边缘分类。生物特征101（3），625-640（2014）·Zbl 1335.62110号 ·doi:10.1093/biomet/asu017 [50] Zhang，C.，Liu，Y.，Wang，J.，Zhu，H.：增强的基于角度的多类别支持向量机。J.计算。Gr.Stat.25，806-825（2016）·doi:10.1080/10618600.2015.043010 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。