铃木、新亚;小川，小平;杉山正树;Masayuki Karasuyama;一郎武内 稳健SV分类和回归的同伦延拓方法。 （英文） Zbl 1455.68186号 机器。学习。 106，第7期，1009-1038（2017）. 摘要：在包含部分异常值的不可靠数据的支持向量机（SVM）应用程序中，SVM的非鲁棒性通常会导致性能显著下降。尽管已经研究了许多提高SVM鲁棒性的方法，但仍然存在两大挑战。首先，鲁棒学习算法本质上是非凸优化问题，因为必须设计损失函数来减轻离群值的影响。因此，开发一种能够找到良好局部最优解的鲁棒SVM的非凸优化方法是很重要的。第二个实际问题是如何调整控制鲁棒性和效率之间平衡的超参数。不幸的是，由于非凸性，超参数值稍有不同的稳健SVM解可能会有显著差异，这使得模型选择非常不稳定。在本文中，我们通过介绍一部小说来同时解决这两个问题同宗的一种非凸鲁棒SVM学习方法。我们的基本思想是引入鲁棒SVM的参数化公式，通过表示离群值影响的参数，将标准SVM和完全鲁棒SVM连接起来。我们的同伦方法允许基于局部最优解的路径进行稳定有效的模型选择。通过对稳健分类和回归问题的大量数值实验，验证了该方法的经验性能。 引用于2文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 62G35型 非参数稳健性 62H30型 分类和区分；聚类分析（统计方面） 62J02型 一般非线性回归 90立方厘米26 非凸规划，全局优化 90 C90 数学规划的应用 关键词：鲁棒支持向量机;分类;回归，回归;参数化编程;非凸优化 软件：稀疏的 PDF格式BibTeX公司 XML格式引用 \textit{S.Suzumura}等人，马赫。学习。106，第7号，1009--1038（2017；Zbl 1455.68186） 全文： 内政部 arXiv公司 参考文献： [1] Allgower，E.L.和George，K.（1993年）。延续和路径跟随。《数值学报》，第2期，第1-63页·Zbl 0792.65034号 ·doi:10.1017/S09624929000002336 [2] Bartlett，P.L.和Mendelson，S.（2003）。Rademacher和高斯复杂性：风险边界和结构结果。机器学习研究杂志，3463-482·Zbl 1084.68549号 [3] Best，M.J.（1996）。一种求解参数二次规划问题的算法。《应用数学与并行计算》，第57-76页·Zbl 0906.65064号 [4] Boser，B.E.、Guyon，I.M.和Vapnik，V.N.（1992年）。一种最优边缘分类器的训练算法。第五届ACM计算学习理论研讨会论文集，第144-152页。 [5] Boyd，S.和Vandenberghe，L.（2004）。凸优化。剑桥：剑桥大学出版社·Zbl 1058.90049号 ·doi:10.1017/CBO9780511804441 [6] Cauwenberghs，G.和Poggio，T.（2001）。增量和减量支持向量机学习。神经信息处理系统进展，13，409-415。 [7] Collobert，R.、Sinz，F.、Weston，J.和Bottou，L.（2006）。交易凸性以实现可扩展性。第23届机器学习国际会议论文集，第201-208页。 [8] Cortes，C.和Vapnik，V.（1995年）。支持向量网络。机器学习，20，273-297·兹比尔08316.8098 [9] DeCoster，D.和Wagstaff，K.（2000年）。支持向量机的Alpha种子。第六届ACM SIGKDD知识发现和数据挖掘国际会议的进展。 [10] Freund，Y.（2009）。一种更健壮的boosting算法。arXiv:0905.2138。 [11] Gal，T.（1995）。后优化分析、参数编程和相关主题。沃尔特·德·格鲁伊特。 [12] Giesen，J.、Jaggi，M.和Laue，S.（2012年）。近似参数化凸优化问题。ACM算法事务，9·Zbl 1301.90070号 [13] Hastie，T.、Rosset，S.、Tibshirani，R.和Zhu，J.（2004）。支持向量机的整个正则化路径。机器学习研究杂志，5，1391-415·Zbl 1222.68213号 [14] Hromkovic，J.（2001）。解决难题的算法。柏林：斯普林格·Zbl 1069.68642号 [15] Krause，N.和Singer，Y.（2004年）。更仔细地利用利润。《第21届机器学习国际会议论文集》，2004年，第63-70页。 [16] Liu，Y.，&Shen，X.（2006）。多类别\[\psi\]ψ-学习。美国统计协会杂志，101，98·Zbl 1119.62341号 [17] Liu，Y.，Shen，X.，&Doss，H.（2005）。多类别\[\psi\]ψ-学习和支持向量机：计算工具。计算与图形统计杂志，14，219-236·doi:10.1198/106186005X37238 [18] Masnadi-Shiraze，H.和Vasconcelos，N.（2000年）。用于组合假设的函数梯度技术。大幅度分类器的进展。麻省理工学院出版社，第221-246页。 [19] Masnadi-Shirazi，H.和Vasconcelos，N.（2009年）。关于分类损失函数的设计：理论、对异常值的鲁棒性和野蛮提升。神经信息处理系统进展，221049-1056。 [20] Mazumder，R.、Friedman，J.H.和Hastie，T.（2011年）。Sparsenet：协调下降与非凸惩罚。《美国统计协会期刊》，1061125-1138·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738 [21] Ogawa，K.、Imamura，M.、Takeuchi，I.和Sugiyama，M.（2013）。训练半监督支持向量机的无穷小退火算法。第30届机器学习国际会议论文集。 [22] Ritter，K.（1984）。关于参数线性和二次规划问题。《数学编程：国际数学编程大会会议记录》，第307-335页·Zbl 0535.90086号 [23] Shen，X.、Tseng，G.、Zhang，X.和Wong，W.H.（2003）。关于\[\psi\]ψ-学习。《美国统计协会杂志》，98（463），724-734·Zbl 1052.62095号 ·doi:10.1198/0162145000000639 [24] Suzumura，S.、Ogawa，K.、Sugiyama，M.和Takeuchi，I.（2014）。离群路径：鲁棒SVM的同伦算法。《第31届机器学习国际会议论文集》（ICML-14），第1098-1106页。 [25] Vapnik，V.N.（1998）。统计学习理论。威利跨科学·Zbl 0935.62007号 [26] Wu，Y.，&Liu，Y..（2007）。鲁棒截断铰链损失支持向量机。美国统计协会杂志，102974-983·Zbl 1469.62293号 ·doi:10.1198/0162145000000617 [27] Xu，L.、Crammer，K.和Schuurmans，D.（2006）。基于凸离群消融的鲁棒支持向量机跟踪。在全国人工智能会议（AAAI）的会议记录中。 [28] Yu，Y.、Yang，M.、Xu，L.、White，M.和Schuurmans，D.（2010）。松弛裁剪：稳健回归和分类的全局训练方法。神经信息处理系统进展，23。 [29] Yuille，A.L.和Rangarajan，A.（2002）。凹-凸过程（cccp）。神经信息处理系统进展，14·Zbl 1022.68112号 [30] Zhang，C.H.（2010）。极小极大凹惩罚下的几乎无偏变量选择。《统计年鉴》，38894-942·Zbl 1183.62120号 ·doi:10.1214/09-AOS729 [31] Zhou，H.、Armagan，A.和Dunson，D.B.（2012）。稀疏回归的路径跟踪和经验贝叶斯模型选择。arXiv：1201.3528。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。