×
安德烈亚斯·克里斯特曼;罗伯特·哈布尔

对可加模型使用可加核的支持向量机的一致性。 （英文） Zbl 1243.62051号

计算。统计数据分析。 56，第4号，854-873（2012）.
摘要：支持向量机（SVM）是一种特殊的基于核的方法，十多年来一直是最成功的学习方法之一。SVM可以非正式地描述为函数的一类正则化M-估计，并在许多复杂的实际问题中证明了其有用性。在过去几年中，对支持向量机的统计研究很大一部分集中于如何设计支持向量机，使其在非参数分类或非参数回归中具有普遍一致性和统计稳健性。在许多应用中，存在分布P或待估计未知函数f的一些定性先验知识，或者需要具有良好解释性的预测函数，因此半参数模型或可加性模型很有意义。
研究了如何通过选择再生核希尔伯特空间（RKHS）或其对应的核来设计支持向量机，以获得相加模型中一致的统计稳健估计量的问题。给出了这种RKHS及其核的显式构造，称为加性核。基于加性核的支持向量机称为加性支持向量机。使用这种加性核与Lipschitz连续损失函数相结合，可以得到具有加性模型所需属性的SVM。示例包括基于弹球损失函数的分位数回归、基于不敏感损失函数的回归以及基于铰链损失函数的分类。

引用于8文件

MSC公司：

62G08号 非参数回归和分位数回归
68T05型 人工智能中的学习和自适应系统
46号30 泛函分析在概率论和统计学中的应用
62G35型 非参数稳健性
62H20个 关联度量（相关性、典型相关性等）
65C60个 统计中的计算问题（MSC2010）

关键词：

支持向量机;稳健性;内核

软件：

SVM灯;汞
PDF格式BibTeX公司 XML格式引用
\textit{A.Christmann}和\textit{R.Hable}，计算。统计数据分析。56，第4号，854--873（2012；Zbl 1243.62051）
全文： 内政部

参考文献：

[1] Berlinet，A。；Thomas-Agnan，C.，《概率统计中的核-希尔伯特空间再现》（2004），Kluwer学术出版社：Kluwer-学术出版社，马萨诸塞州波士顿·Zbl 1145.6202号
[2] 布兰查德，G。；O.布斯克。；Massart，P.，《支持向量机的统计性能》，《统计年鉴》，36，2，489-531（2008）·Zbl 1133.62044号
[3] Caponetto，A。；De Vito，E.，正则化最小二乘算法的最佳速率，计算数学基础，7，3，331-368（2007）·Zbl 1129.68058号
[4] Christmann，A。；Steinwart，I.，《非标准输入空间上的通用核》，（Lafferty，J.；Williams，C.K.I.；Shawe-Taylor，J.，Zemel，R.；Culotta，A.，《神经信息处理系统的进展》，第23卷（2010），406-414
[5] 克里斯特曼，A。；Van Messem，A.，《用于回归的支持向量机的Bouligand导数和稳健性》，《机器学习研究杂志》，9，915-936（2008）·Zbl 1225.68164号
[6] Christmann，A。；Van Messem，A。；Steinwart，I.，《关于重尾分布支持向量机的一致性和鲁棒性》，《统计学及其接口》，2311-327（2009）·Zbl 1245.62057号
[7] Cucker，F。；周大喜，《学习理论》。《近似理论观点》（2007），剑桥大学出版社：剑桥大学出版社·Zbl 1274.41001号
[8] 德博克，K。；库塞门特，K。；Van den Poel，D.，基于广义加性模型的集成分类，计算统计与数据分析，54，1535-1546（2010）·Zbl 1284.62368号
[9] Devroye，L.P.，对于有限样本量，任何判别规则都可能有任意错误概率，IEEE模式分析和机器智能汇刊，4154-157（1982）·Zbl 0484.62072号
[10] Dudley，R.M.，《真实分析与概率》（2002），剑桥大学出版社：剑桥大学出版社·Zbl 1023.60001号
[11] Fahrmeir，L。；Kneib，T。；Lang，S.，《回归：模型、方法和安文登根》（2007），施普林格：柏林施普林格出版社·Zbl 1153.62053号
[12] Fenske，N.、Kneib，T.、Hothorn，T.，2009年。通过增强加性分位数回归确定儿童严重营养不良的风险因素。http://epub.ub.uni-muenchen.de/10510/; Fenske，N.，Kneib，T.，Hothorn，T.，2009年。通过增强加性分位数回归确定儿童严重营养不良的风险因素。http://epub.ub.uni-muenchen.de/10510/ ·Zbl 1232.62146号
[13] 费拉蒂，F。；Vieu，P.，功能数据的加性预测和增强，计算统计和数据分析，531400-1413（2009）·Zbl 1452.62989号
[14] 弗里德曼，J.H。；Stuetzle，W.，投影寻踪回归，美国统计协会杂志，76817-823（1981）
[15] 哈布尔，R。；Christmann，A.，《支持向量机的定性稳健性》，《多元分析杂志》，102993-1007（2011）·Zbl 1274.62285号
[16] F.R.汉佩尔，1968年。对稳健估计理论的贡献，未发表。博士论文。加州大学伯克利分校统计系。；F.R.汉佩尔，1968年。对稳健估计理论的贡献，未发表。博士论文。加州大学伯克利分校统计系。
[17] Hampel，F.R.，《影响曲线及其在稳健估计中的作用》，《美国统计协会杂志》，69，383-393（1974）·Zbl 0305.62031号
[18] 哈斯蒂，T。；Tibshirani，R.，广义加法模型（1990），查普曼和霍尔：查普曼与霍尔伦敦·Zbl 0747.62061号
[19] 海因，M。；Bousquet，O.，Hilbertian度量和概率测度的正定核，（Ghahramani，Z.；Cowell，R.，AISTATS（2005）），136-143
[20] 休伯，P.J.，1967年。非标准条件下极大似然估计的行为。In：程序。第五届伯克利交响乐团。第1卷，第221-233页。；P.J.Huber，1967年。非标准条件下极大似然估计的行为。In：程序。第五届伯克利交响乐团。第1卷，第221-233页·Zbl 0212.21504号
[21] Joachims，T.，《使大规模SVM学习实用化》（Schölkopf，B.；Burges，C.；Smola，A.，《内核方法的进展——支持向量学习》（1999），麻省理工学院出版社：麻省理工学出版社剑桥），41-56
[22] Joachims，T.，《学习使用支持向量机对文本进行分类》（Learning to Classify Text Using Support Vector Machines）（2002），Kluwer Academic Publishers:Kluwer-Academical Publishers Boston
[23] Koenker，R.，分位数回归（2005），剑桥大学出版社：剑桥大学出版社·Zbl 1111.62037号
[24] Lafferty，J。；黎巴嫩，G.，统计流形上的扩散核，机器学习研究杂志，6129-163（2005）·Zbl 1222.68240号
[25] Meier，L。；van de Geer，S。；Bühlmann，P.，高维加性建模，《统计年鉴》，37，6B，3779-3821（2009）·Zbl 1360.62186号
[26] 门德尔森，S。；Neeman，J.，《内核学习中的正则化》，《统计年鉴》，38，1526-565（2010）·Zbl 1191.68356号
[27] Robinson，S.M.，一类非光滑函数的隐函数定理，运筹学数学，16，292-309（1991）·Zbl 0746.46039号
[28] Rousseeuw，P.J。；Croux，C.，《中值绝对偏差的替代方法》，《美国统计协会杂志》，88，424，1273-1283（1993）·Zbl 0792.62025号
[29] 吕平，S.，2000年。mySVM-手册。多特蒙德大学计算机科学系。www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM；吕平，S.，2000年。mySVM-手册。多特蒙德大学计算机科学系。www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM网站
[30] 施密德，M。；Hothorn，T.，使用组件式P样条推进可加模型，计算统计与数据分析，53，2，298-311（2008）·Zbl 1231.62071号
[31] Schölkopf，B。；Smola，A.J.，《用内核学习》。《支持向量机，正则化，优化及超越》（2002），麻省理工学院出版社：麻省理工大剑桥出版社
[32] Schölkopf，B。；Smola，A.J。；Müller，K.-R.，作为核特征值问题的非线性分量分析，神经计算，101299-1319（1998）
[33] Schölkopf，B。；Tsuda，K。；Vert，J.P.，《计算生物学中的核心方法》（2004年），麻省理工学院出版社：麻省理学院出版社，马萨诸塞州剑桥
[34] 北沙菲克。；Tutz，G.，Boosting非线性加性自回归时间序列，计算统计与数据分析，532453-2464（2009）·Zbl 1453.62194号
[35] Sriperumbudur，B。；Fukumizu，K。；格雷顿，A。；Lanckriet，G.等人。；Schölkopf，B.，概率分布RKHS嵌入的核选择和分类，（Bengio，Y.；Schuurmans，D.；Lafferty，J.；Williams，C.K.I.；Culotta，A.，《神经信息处理系统的进展》，22（2009）），1750-1758
[36] Steinwart，I.，《论核对支持向量机一致性的影响》，机器学习研究杂志，267-93（2001）·Zbl 1009.68143号
[37] 斯坦瓦特，I。；Christmann，A.，支持向量机（2008），Springer:Springer New York·Zbl 1203.68171号
[38] 斯坦瓦特，I。；Christmann，A.，《从非i.i.d.观察中快速学习》（Bengio，Y.；Schuurmans，d.；Lafferty，J.；Williams，C.K.i.；Culotta，A.，神经信息处理系统进展，第22卷（2009）），1768-1776
[39] Steinwart，I.，Hush，D.，Scovel，C.，2009年。正则化最小二乘回归的最佳速率。摘自：《第22届学习理论会议论文集》（COLT 2009）。；Steinwart，I.，Hush，D.，Scovel，C.，2009年。正则化最小二乘回归的最佳速率。摘自：第22届学习理论会议记录（COLT 2009）·Zbl 1127.68090号
[40] 斯坦瓦特，I。；Scovel，C.，使用高斯核的支持向量机的快速速率，《统计年鉴》，35，2755-607（2007）·Zbl 1127.68091号
[41] Tutz，G。；Binder，H.，Boosting岭回归，计算统计与数据分析，51，12，6044-6059（2007）·Zbl 1330.62294号
[42] Vapnik，V.N.，《统计学习理论》（1998），John Wiley&Sons:John Willey&Sons New York·Zbl 0935.62007号
[43] Wood，S.N.，广义加性模型（2006），查普曼和霍尔/CRC：查普曼&霍尔/CRC博卡拉顿，佛罗里达州·Zbl 1087.62082号
[44] Xu，Y.-L。；Chen，D.-R.，指数强混合序列的正则回归学习率，《统计规划与推断杂志》，138,72180-2189（2008）·Zbl 1134.62050号
[45] Yee，T.W。；Wild，C.J.，向量广义加性模型，皇家统计学会杂志。B系列方法论，58，3481-493（1996）·Zbl 0855.62059号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。