×

稳健非凸稀疏正则回归问题的计算和统计分析。 (英语) Zbl 1432.62208号

摘要:本文研究了线性回归问题的稳健稀疏估计技术。使用Lasso、SCAD和MCP正则化的标准回归对异常值没有鲁棒性,因为它涉及最小二乘法。为了处理异常值,提出了一个两阶段的过程;在第一阶段,计算初始估计量,然后在第二阶段通过迭代求解稀疏回归问题来改进初始估计量。这个过程不仅包括随机误差,还包括计算误差。从计算和统计的角度研究了最终估计量的收敛性能。

MSC公司:

62J05型 线性回归;混合模型
62层35 鲁棒性和自适应程序(参数推断)
62J07型 岭回归;收缩估计器(拉索)
62-08 统计问题的计算方法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 阿加瓦尔,A。;内加班,S。;Wainwright,M.,用于高维统计恢复的梯度方法的快速全局收敛,Ann.Statist。,40, 5, 2452-2482 (2012) ·Zbl 1373.62244号
[2] 比克尔,P。;Ritov,Y。;Tsybakov,A.,Lasso和Dantzig选择器的同步分析,Ann.Statist。,37, 4, 1705-1732 (2009) ·Zbl 1173.62022号
[3] Bühlmann,P。;van de Geer,S.,《高维数据统计:方法、理论和应用》(2011),施普林格出版社·Zbl 1273.62015年
[4] Fan,J.,A.Antoniadis,J.意大利统计协会对“统计中的小波:评论”的评论,6131-139(1997)·Zbl 1454.62116号
[5] 范,J。;Li,R.,通过非冲突惩罚似然进行变量选择及其预言性质,J.Amer。统计师。协会,96,456,1348-1360(2001)·Zbl 1073.62547号
[6] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J.Stat.Softw。,33, 1, 1-22 (2010)
[7] Katayama,S。;Fujisawa,H.,《稀疏和稳健线性回归:优化算法及其统计特性》,Statist。Sinica,27,1243-1264(2017)·Zbl 1372.62015年
[8] 李毅。;Zhu,J.,(L_1)-范数分位数回归,J.计算。图表。统计人员。,17, 163-185 (2008)
[9] Loh,P.L.,高维稳健M-估计的统计一致性和渐近正态性,Ann.Statist。,45, 866-896 (2017) ·Zbl 1371.62023号
[10] Loh,P.L。;Wainwright,M.,《带非凸性的正则M-估计:局部最优的统计和算法理论》,J.Mach。学习。决议,16559-616(2015)·Zbl 1360.62276号
[11] 内加班,S。;拉维库马尔,P。;温赖特,M。;Yu,B.,用可分解正则化子对M估计进行高维分析的统一框架,Statist。科学。,27, 538-557 (2012) ·Zbl 1331.62350号
[12] Nesterov,Y.,凸优化入门讲座;基础课程(2004),斯普林格·Zbl 1086.90045号
[13] Nesterov,Y.,最小化复合函数的梯度方法,数学。程序。,140, 125-161 (2013) ·Zbl 1287.90067号
[14] Nguyen,N。;Tran,T.,《观测值缺失和严重损坏的稳健套索》,IEEE Trans。Inf.理论,59,4,2036-2058(2013)·Zbl 1364.94146号
[15] Raskutti,G。;Wainwright,M.,高维线性回归在\(\ell_q\)-球上的Minimax估计率,IEEE Trans。Inf.理论,57,10,6976-6994(2011)·兹比尔1365.62276
[16] Raskutti,G。;温赖特,M。;Yu,B.,相关高斯设计的限制特征值特性,J.Mach。学习。第11号决议,2241-2259(2010年)·Zbl 1242.62071号
[17] 她,Y。;Owen,A.,使用非凸惩罚回归进行离群点检测,J.Amer。统计师。协会,106,494,626-639(2011)·Zbl 1232.62068号
[18] Sherwood,B.,Maidman,A.,rqPen:惩罚分位数回归,R包2.0版,2017年。;Sherwood,B.,Maidman,A.,rqPen:惩罚分位数回归,R包2.0版,2017年。
[19] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.R.Stat.Soc.Ser。B、 58、1、267-288(1996)·Zbl 0850.62538号
[20] Vershynin,R.,《随机矩阵的非渐近分析导论》(Eldar,Y.;Kutyniok,G.,《压缩传感、理论与应用》(2012),剑桥大学出版社),210-268
[21] 王,Z。;刘,H。;Zhang,T.,稀疏非凸学习问题的最优计算和统计收敛速度,Ann.Statist。,42, 6, 2164-2201 (2014) ·Zbl 1302.62066号
[22] Witten,M.,《带离群值的惩罚式无监督学习》,《统计界面》,6,2,211-221(2013)·Zbl 1327.62384号
[23] Zhang,T.,稀疏正则化的多级凸松弛分析,J.Mach。学习。第11号决议,1081-1107(2010年)·Zbl 1242.68262号
[24] 张,C.,极小极大凹惩罚下的几乎无偏变量选择,Ann.Statist。,38, 2, 894-942 (2010) ·Zbl 1183.62120号
[25] Zou,H.,《自适应拉索及其预言属性》,J.Amer。统计师。协会,101,476,1418-1429(2006)·Zbl 1171.62326号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。