×
克里斯·德·布拉班特;乔斯·德·布拉班特

核估计量重加权的稳健性：综述。 （英语） Zbl 07473937号

统计科学。 第4号第36页，第578-594页（2021）.
小结：使用最小二乘法，人们意识到数据中出现异常值所带来的危险。一般来说，离群值可能会完全破坏普通的最小二乘分析。为了解决这个问题，已经开发了统计技术，这些技术不太容易受到异常值的影响。这些方法被称为稳健或抵抗。在本文中，我们说明了即使初始解不稳健，也可以通过求解加权最小二乘问题来获得稳健解。这篇综述性论文将稳健性的经典结果与基于最小二乘核回归的稳健性最新进展联系起来，重点放在理论结果和实际示例上。用于迭代重新加权的软件也可免费提供给用户。

MSC公司：

62至XX 统计

关键词：

基于核的回归;稳健性;迭代重加权;影响函数;稳健模型选择

软件：

鲁棒基地;ROBPCA公司;WRS2型;统计LSSVM;国家实验室
PDF格式BibTeX公司 XML格式引用
\textit{K.De Brabanter}和\textit{J.De Brabanter}，统计科学。36，第4号，578--594（2021；Zbl 07473937）
全文： 内政部

参考文献：

[1] Aftab，K.和Hartley，R.（2014）。迭代加权最小二乘到稳健M-估计的收敛性。在IEEE计算机视觉应用冬季会议（WACV）480-487.
[2] Arce，G.R.（2005）。非线性信号处理:统计方法Wiley Interscience，新泽西州霍博肯·Zbl 1167.94300号
[3] Ba，D.、Babadi，B.、Purdon，P.L.和Brown，E.N.（2014）。迭代加权最小二乘算法的收敛性和稳定性。IEEE传输。信号处理。62 183-195. ·Zbl 1394.94055号 ·doi:10.1109/TSP.2013.2287685
[4] Bissantz，N.、Dümbgen，L.、Munk，A.和Stratmann，B.（2008）。凸函数空间上广义迭代加权最小二乘算法的收敛性分析。SIAM J.Optim公司。1828-1845年·Zbl 1175.62036号 ·数字对象标识代码：10.1137/050639132
[5] Christmann，A.和Steinwart，I.（2003/04）。模式识别凸风险最小化方法的鲁棒性。J.马赫。学习。物件。5 1007-1034. ·Zbl 1222.68348号
[6] Christmann，A.和Steinwart，I.（2007年）。凸风险最小化中基于核的回归的一致性和稳健性。伯努利13 799-819. ·Zbl 1129.62031号 ·doi:10.3150/07-BEJ5102
[7] Christmann，A.和Van Messem，A.（2008）。回归支持向量机的布利根导数和稳健性。J.马赫。学习。物件。9 915-936. ·Zbl 1225.68164号
[8] Croux，C.、Rousseeuw，P.J.和Hössjer，O.（1994）。广义（S）-估计量。J.Amer。统计师。协会。89 1271-1281. ·Zbl 0812.62073号
[9] De Brabanter，K.、Suykens，J.A.K.和De Moor，B.（2013）。基于StatLSSVM的非参数回归。J.统计软件。55 1-23.
[10] De Brabanter，K.、Pelckmans，K.，De Brabanter，J.、Debruyne，M.、Suykens，J.A.K.、Hubert，M.和De Moor，B.（2009年）。基于核回归的稳健性：迭代加权方案的比较。在程序。第19届国际人工神经网络会议（ICANN）100-110.
[11] De Vito，E.、Rosasco，L.、Caponnetto，A.、Piana，M.和Verri，A.（2003/04）。正则核方法的一些性质。J.马赫。学习。物件。5 1363-1390. ·Zbl 1222.68181号
[12] Debruyne，M.、Hubert，M.和Suykens，J.A.K.（2008）。基于影响函数的核回归模型选择。J.马赫。学习。物件。9 2377-2400. ·Zbl 1225.62051号
[13] Debruyne，M.、Christmann，A.、Hubert，M.和Suykens，J.A.K.（2010年）。基于加权最小二乘核回归的稳健性。《多元分析杂志》。101 447-463. ·兹比尔1178.62035 ·doi:10.1016/j.jmva.2009.09.007
[14] Dollinger，M.B.和Staudte，R.G.（1991年）。迭代加权最小二乘估计量的影响函数。J.Amer。统计师。协会。86 709-716. ·Zbl 0739.62024号
[15] 埃奇沃斯，F.Y.（1887年）。关于几个量的观测。赫马塞纳6 279-285.
[16] Evgeniou，T.、Pontil，M.和Poggio，T.（2000）。正则化网络和支持向量机。高级计算。数学。13 1-50. ·Zbl 0939.68098号 ·doi:10.1023/A:1018946025316
[17] Fox，J.（2016）。应用回归和广义线性模型第三版，洛杉矶Sage。
[18] Girosi，F.（1998）。稀疏近似和支持向量机之间的等价性。神经计算。10 1455-1480. ·doi:10.1162/08997669830017269
[19] Hampel，F.R.（1974年）。影响曲线及其在稳健估计中的作用。J.Amer。统计师。协会。69 383-393. ·Zbl 0305.62031号
[20] Hampel，F.R.、Ronchetti，E.M.、Rousseeuw，P.J.和Stahel，W.A.（1986年）。稳健的统计:基于影响函数的方法.概率与数理统计中的威利级数:概率论与数理统计纽约威利·兹比尔0593.62027
[21] Härdle，W.、Hall，P.和Marron，J.S.（1988年）。自动选择的回归平滑参数离最佳参数有多远？J.Amer。统计师。协会。83 86-101. ·Zbl 0644.62048号
[22] Härdle，W.、Hall，P.和Marron，J.S.（1992年）。离最佳值不远的回归平滑参数。J.Amer。统计师。协会。87 227-233. ·Zbl 0850.62352号
[23] Hettmansperger，T.P.和McKean，J.W.（1998年）。稳健的非参数统计方法.肯德尔统计图书馆5.爱德华·阿诺德，伦敦·兹比尔0887.62056
[24] Huber，P.J.（1964年）。位置参数的稳健估计。安。数学。斯达。35 73-101. ·兹伯利0136.39805 ·doi:10.1214/aoms/1177703732
[25] Huber，P.J.（1965年）。概率比测试的稳健版本。安。数学。斯达。36 1753-1758. ·Zbl 0137.12702号 ·doi:10.1214/aoms/1177699803
[26] Huber，P.J.（1968年）。稳健的置信限。Z.Wahrsch公司。版本。盖比岩10 269-278. ·Zbl 0174.50402号 ·doi:10.1007/BF00531848
[27] Huber，P.J.（1981）。稳健的统计纽约威利·Zbl 0536.62025号
[28] Huber，P.J.和Strassen，V.（1973）。容量的Minimax检验和Neyman-Pearson引理。安。统计师。1 251-263. ·Zbl 0259.62008年
[29] Huber，P.J.和Strassen，V.（1974年）。更正：“容量的Minimax检验和Neyman-Pearson引理”（Ann.Statist.1（1973），251-263）。安。统计师。2 223-224之间·Zbl 0269.62020
[30] Hubert，M.（2001）。多元离群点检测和稳健协方差矩阵估计。技术计量学43 303-306.
[31] Hubert，M.、Rousseeuw，P.J.和Vanden Branden，K.（2005）。ROBPCA：稳健主成分分析的新方法。技术计量学47 64至79页·doi:10.19198/004017004000000563
[32] Jurečková，J.和Picek，J.（2006年）。具有R的稳健统计方法CRC出版社/CRC，佛罗里达州博卡拉顿·1097.62020兹罗提
[33] Kutner，M.H.、Nachtsheim，C.J.、Neter，J.和Li，W.（2005）。应用线性统计模型，第5版，McGraw-Hill，纽约。
[34] Leung，D.H.-Y.（2005）。具有离群值的非参数回归的交叉验证。安。统计师。33 2291-2310. ·Zbl 1086.62055号 ·doi:10.1214/009053605000000499
[35] Leung，D.H.Y.、Marriott，F.H.C.和Wu，E.K.H.（1993）。稳健平滑中的带宽选择。J.非参数。斯达。2 333-339. ·Zbl 1360.62132号 ·doi:10.1080/10485259308832562
[36] Liu，D.（2008）。支持向量机柏林施普林格。
[37] Maronna，R.A.、Martin，R.D.和Yohai，V.J.（2006）。稳健的统计:理论与方法.概率统计中的威利级数奇切斯特·威利·邮编1094.62040 ·doi:10.1002/0470010940
[38] Mukherjee，S.、Niyogi，P.、Poggio，T.和Rifkin，R.（2006年）。学习理论：稳定性对于泛化是充分的，对于经验风险最小化的一致性是必要的和充分的。高级计算。数学。25 161-193. ·1099.68693兹比尔 ·doi:10.1007/s10444-004-7634-z
[39] Mukhoty，B.、Gopakumar，G.、Jain，P.和Kar，P.（2019年）。稳健回归问题的全局收敛迭代加权最小二乘法。在机器学习研究进展89 (AISTATS公司2019) 313-322.
[40] Osborne，M.R.（1985）。优化和数据分析中的有限算法.概率与数理统计中的威利级数:应用概率论与统计学奇切斯特·威利·Zbl 0573.65044号
[41] Poggio，T.和Smale，S.（2003年）。学习的数学：处理数据。通知美国。数学。Soc公司。50 537-544. ·Zbl 1083.68100号
[42] Riazoshams，H.、Midi，H.和Ghilagaber，G.（2019年）。稳健非线性回归:使用R的应用程序新泽西州霍博肯威利·Zbl 1407.62022号
[43] Rousseeuw，P.J.和Leroy，A.M.（2003）。稳健回归与异常检测纽约威利·doi:10.1002/0471725382
[44] Samorodnitsky，G.和Taqqu，M.S.（1994年）。稳定非高斯随机过程:具有无穷方差的随机模型.随机建模CRC出版社，纽约·Zbl 0925.60027号
[45] Schölkopf，B.、Herbrich，R.和Smola，A.J.（2001）。广义表示定理。在计算学习理论(阿姆斯特丹（D.Helmblod和B.Williamson编辑）。计算机科学课堂讲稿2111 416-426. 柏林施普林格·Zbl 0992.68088号 ·doi:10.1007/3-540-44581-1_27
[46] Schölkopf，B.和Smola，A.（2002年）。用内核学习:支持向量机、正则化、优化及其他麻省理工学院出版社，马萨诸塞州剑桥。
[47] Sigl，J.（2016）。通过迭代加权最小二乘法实现非线性残差最小化。计算。最佳方案。申请。64 755-792. ·Zbl 1373.90153号 ·doi:10.1007/s10589-016-9829-x
[48] Simpson，D.G.、Ruppert，D.和Carroll，R.J.（1992年）。关于一步GM估计和线性回归中推论的稳定性。J.Amer。统计师。协会。87 439-450. ·Zbl 0781.62104号
[49] Steinwart，I.（2004）。支持向量机的稀疏性。J.马赫。学习。物件。4 1071-1105. ·Zbl 1094.68082号 ·doi:10.1162/1532443041827925
[50] Suykens，J.A.K.，Van Gestel，T.，De Brabanter，J.、De Moor，B.和Vandewalle，J.（2002年）。最小二乘支持向量机新加坡，世界科学·Zbl 1017.93004号
[51] Tikhonov，A.N.和Arsenin，V.Y.（1977年）。不适定问题的解决方案V.H.Winston&Sons，华盛顿特区·Zbl 0354.65028号
[52] Tukey，J.W.（1960年）。污染分布抽样调查。在对概率论和统计学的贡献448-485. 斯坦福大学出版社，加利福尼亚州斯坦福·Zbl 0201.52803号
[53] Vapnik，V.N.（1995）。统计学习理论的本质纽约州施普林格·Zbl 0833.62008号 ·数字对象标识代码：10.1007/978-1-4757-2440-0
[54] Vapnik，V.N.（1998）。统计学习理论.信号处理、通信和控制的自适应和学习系统纽约威利·Zbl 0935.62007号
[55] Wahba，G.（1990年）。观测数据的样条模型.CBMS-NSF应用数学区域会议系列59.宾夕法尼亚州费城SIAM·Zbl 0813.62001号 ·doi:10.1137/1.9781611970128
[56] Wahba，G.（1999）。支持向量机，再生核希尔伯特空间和随机GACV。在支持向量学习的核方法研究进展（B.Schölkopf，C.Burges和A.Smola编辑）69-88，马萨诸塞州剑桥市。
[57] Wasserman，L.（2006）。所有非参数统计.统计中的Springer文本纽约州施普林格·Zbl 1099.62029号
[58] Wilcox，R.R.（1996年）。稳健回归的一些最新发展综述。英国数学杂志。Stat.Psychol公司。49 253-274. ·Zbl 0898.62040号 ·doi:10.1111/j.2044-8317.1996.tb01088.x
[59] Wilcox，R.（2012）。稳健估计和假设检验简介，第3版。统计建模与决策科学爱思唯尔/学术出版社，阿姆斯特丹·Zbl 1270.62051号 ·doi:10.1016/B978-0-12-386983-8.00001-9
[60] Yang，Y.（2007）。用于比较回归过程的交叉验证的一致性。安。统计师。35 2450-2473. ·Zbl 1129.62039号 ·doi:10.1214/009053607000000514
[61] Yu，C.和Yao，W.（2017）。稳健线性回归：回顾与比较。通信统计。仿真计算。46 6261-6282. ·Zbl 1388.62070号 ·doi:10.1080/03610918.2016.1202271
[62] Zolotarev，V.M.（1986）。一维稳定分布.数学专著的翻译65.阿默尔。数学。佛罗里达州普罗维登斯Soc·doi:10.1090/mmono/065
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。