翁贝托·阿马托;安妮斯蒂斯·安东尼亚迪斯;意大利德菲斯;艾琳·吉贝尔斯 稀疏和高维线性模型的惩罚稳健估计。 （英语） Zbl 1474.62182号 统计方法应用。 30，编号1，1-48（2021）. 摘要：我们引入了一类新的稳健估计量，用于在高维回归模型中同时进行参数估计和变量选择。我们首先解释了我们的过程的关键成分的动机，这些动机受到了噪声信号处理中小波阈值化所使用的正则化方法的启发。在经典有限维情形和高维情形下，当变量数（p）不固定但可以随样本大小（n）增长时，所导出的惩罚估计过程在理论上都具有预言性质，并达到最佳渐近收敛速度。提出并实现了一种坐标下降型的快速加速近似梯度算法，用于计算估计值，并且在解决相应的正则化问题（包括超高维数据的情况，其中（p\gg n））方面表现出令人惊讶的高效性。最后，通过广泛的仿真研究和一些实际数据分析，将最近存在的几种M估计方法与本文提出的方法进行了比较，并证明了它们的实用性和优势。 引用于5文件 MSC公司： 62甲12 多元分析中的估计 62G08号 非参数回归和分位数回归 62G35型 非参数稳健性 关键词：污染;离群值;高维回归;变量选择;小波阈值法;非凸罚;正规化 软件：帕科尔;鲁棒基地;robustHD公司;ncvreg公司;CVXR公司;佩里示例 PDF格式BibTeX公司 XML格式引用 \textit{U.Amato}等人，《统计方法应用》。30，编号1，1--48（2021；Zbl 1474.62182） 全文： 内政部 链接 参考文献： [1] Alfons A（2014）perry示例：将预测误差估计集成到回归模型中的示例。R包版本0.1.0 [2] Alfons A（2016）robustHD：高维数据的稳健方法。R包版本0.5.1 [3] Alfons，A。；克劳克斯，C。；Gelper，S.，《用于分析高维大数据集的稀疏最小二乘回归》，Ann Appl Stat，7，1，226-248（2013）·Zbl 1454.62123号 [4] Antoniadis，A.，《统计学中的小波方法：一些最新发展及其应用》，Stat Surv，1，16-55（2007）·Zbl 1300.62028号 [5] Antoniadis，A.，评论：混合回归模型的（\ell_1）惩罚[mr2677722]，TEST，19，2，257-258（2010）·Zbl 1203.62124号 [6] 安东尼亚迪斯，A。；Fan，J.，小波近似的正则化，美国统计协会，96，455，939-967（2001）·Zbl 1072.62561号 [7] 安东尼亚迪斯，A。；Gijbels，I。；Nikolova，M.，具有非二次惩罚的广义线性模型的惩罚似然回归，Ann Inst Stat Math，63，3，585-615（2011）·Zbl 1333.62113号 [8] Arslan，O.，回归中稳健参数估计和变量选择的加权lad-Lasso方法，计算统计数据分析，56，6，1952-1965（2012）·Zbl 1243.62029号 [9] Avella Medina MA，Ronchetti E（2014），广义线性和加性模型的稳健一致变量选择。日内瓦大学技术报告310·Zbl 07072391号 [10] 贝洛尼，A。；Chernozhukov，V.，高维稀疏模型中的（\ell_1）惩罚分位数回归，Ann Stat，39，1，82-130（2011）·Zbl 1209.62064号 [11] 贝洛尼，A。；切尔诺朱科夫，V。；Wang，L.，Square-root Lasso:通过圆锥编程实现稀疏信号的关键恢复，Biometrika，98，4，791-806（2011）·Zbl 1228.62083号 [12] PJ Bickel；Ritov，Y。；Tsybakov，AB，Lasso和Dantzig选择器的同步分析，Ann Stat，37，4，1705-1732（2009）·Zbl 1173.62022号 [13] Bradic，J。；范，J。；Wang，W.，超高维变量选择的惩罚复合拟似然法，J R Stat Soc Ser B Stat Methodol，73，3，325-349（2011）·兹比尔1411.62181 [14] Breheny P（2018）ncvreg：SCAD和MCP惩罚回归模型的正则化路径。R包版本3.11-0 [15] 布尼亚，F。；克拉克，B。；Ghosal，S.，《通过拉索对高维近似回归模型的一致选择》，推动当代统计的极限：Jayanta K.Ghosh的贡献，《收藏》，122-137（2008），比奇伍德：比奇伍德数学统计研究所·Zbl 1159.62004号 ·doi:10.1214/074921708000000101 [16] 布尼亚，F。；Tsybakov，A。；Wegkamp，M.，Lasso的稀疏预言不等式，Electron J Stat，1169-194（2007）·Zbl 1146.62028号 [17] Cerioli，A。；Riani，M。；阿特金森，AC；Corbellini，A.，《监测的力量：如何充分利用受污染的多元样本》，《统计方法应用》，27589-594（2018）·Zbl 1427.62047号 [18] Chang，X。；Qu，L.，部分线性模型的小波估计，《计算统计数据分析》，47，1，31-48（2004）·Zbl 1429.62122号 [19] 陈，Z。；Tang，ML；高，W。；Shi，NZ，线性回归模型的新稳健变量选择方法，Scand J Stat，41，3，725-741（2014）·Zbl 1309.62122号 [20] Cohen Freue GV、Kepplinger D、Salibian-Barrera M、Smucler E（2018）使用新型稳健惩罚弹性净估计量的蛋白质组生物标志物研究。Ann Appl Stat（已提交）·Zbl 1436.62551号 [21] 丹尼斯，JEJ；Welsch，RE，非线性最小二乘法和鲁棒回归技术，Commun Stat Simul Comput，7，44345-359（1978）·Zbl 0395.62046号 [22] Donoho D，Huber PJ（1983），击穿点的概念。摘自：华兹华斯统计师埃里希·莱曼的节日/普罗巴伯。序列号。贝尔蒙特·沃兹沃思，第157-184页·Zbl 0523.62032号 [23] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，《最小角度回归》，《Ann Stat》，第32、2、407-499页（2004年）·兹比尔1091.62054 [24] 法迪利，J。；Bullmore，E.，使用稀疏表示的惩罚部分线性模型及其在FMRI时间序列中的应用，IEEE Trans Signal Process，53，9，3436-3448（2005）·Zbl 1373.62342号 [25] 范，J。；Li，R.，《基于非一致惩罚似然的变量选择及其预言属性》，美国统计协会，96，456，1348-1360（2001）·Zbl 1073.62547号 [26] 范，J。；李强。；Wang，Y.，在缺乏对称性和轻尾假设的情况下估计高维平均回归，J R Stat Soc Ser B Stat Methodol，79，1，247-265（2017）·Zbl 1414.62178号 [27] Fu A，Narasimhan B，Diamond S，Miller J（2019）CVXR：有序凸优化。J Stat Softw（显示） [28] Gannaz，I.，部分线性模型中的稳健估计和小波阈值，统计计算，17，4，293-310（2007） [29] Gijbels，I。；Vrinssen，I.，线性回归中稳健的非负garrote变量选择，《计算统计数据分析》，85，1-22（2015）·Zbl 1507.62061号 [30] Gijbels，I。；Verhasselt，A。；Vrissen，I.，s-非负Garrote估计的一致性和稳健性，统计学，51，4，921-947（2017）·Zbl 1422.62172号 [31] Hampel FR、Ronchetti EM、Rousseeuw PJ、Stahel WA（1986）稳健统计。概率与数理统计中的威利级数：概率和数理统计。Wiley，纽约，基于影响力函数的方法·Zbl 0593.62027号 [32] 哈里森，D。；Rubinfeld，D.，《Hedonic价格与清洁空气需求》，《环境经济管理杂志》，581-102（1978）·兹伯利0375.90023 [33] 黄，J。；马，S。；Zhang，CH，稀疏高维回归模型的自适应拉索，Stat Sin，18，4，1603-1618（2008）·兹比尔1255.62198 [34] Huber，PJ，位置参数的稳健估计，《数学统计年鉴》，35，73-101（1964）·Zbl 0136.39805号 [35] 胡贝尔，PJ，稳健统计。概率和数理统计中的威利级数（1981），纽约：威利，纽约·Zbl 0536.62025号 [36] 詹森，KH；Deraedt，I。；沙尔姆，O。；Veeckman，J.，《比利时安特卫普出土的15-17世纪考古玻璃器皿的构成》，Mikrochim Acta[补充期刊]，第15期，第253-267页（1998年） [37] 爪哇马德，A。；Montanari，A.，高维回归的置信区间和假设检验，J Mach Learn Res，15，1，2869-2909（2014）·Zbl 1319.62145号 [38] JA Khan；Van Aelst，S。；Zamar，RH，基于最小角回归的稳健线性模型选择，美国统计协会杂志，102，480，1289-1299（2007）·Zbl 1332.62240号 [39] K.奈特。；Fu，W.，Lasso型估计量的渐近性，Ann Stat，28，5，1356-1378（2000）·Zbl 1105.62357号 [40] D.孔。；邦德尔，H。；Wu，Y.，《通过惩罚回归进行完全有效稳健估计、离群值检测和变量选择》，Stat Sin，28，1031-1062（2018）·Zbl 1390.62119号 [41] Kraemer N，Schaefer J（2014）parcor:部分相关矩阵的正则化估计。R包版本0.2-6 [42] Lambert-Lacroix，S。；Zwald，L.，通过Huber准则和自适应Lasso惩罚的鲁棒回归，Electron J Stat，5105-1053（2011）·Zbl 1274.62467号 [43] Loh，PL，高维稳健估计量的统计一致性和渐近正态性，Ann Stat，45，2，866-896（2017）·Zbl 1371.62023号 [44] 卢，波兰；MJ Wainwright，《含噪声和缺失数据的高维回归：非凸性的可证明保证》，Ann Stat，40，3，1637-1664（2012）·Zbl 1257.62063号 [45] 卢，波兰；Wainwright，MJ，非凸正则m-估计量：局部最优的统计和算法理论，J Mach Learn Res，16，559-616（2015）·兹比尔1360.62276 [46] Maechler M等人（2017）稳健基础：基本稳健统计。R包版本0.92-8 [47] Maronna，RA，高维数据的稳健岭回归，Technometrics，53，1，44-53（2011） [48] 玛丽娜，RA；Yohai，VJ，随机载体回归和标度的一般（M）估计的渐近行为，Z Wahrsch Verw Gebiete，58，1，7-20（1981）·Zbl 0451.62031号 [49] 明绍森，N。；Yu，B.，高维数据稀疏表示的Lasso类型恢复，Ann Stat，37，1，246-270（2009）·Zbl 1155.62050号 [50] 内加班，SN；拉维库马尔，P。；温赖特，MJ；Yu，B.，具有可分解正则化子的\（M\）-估计量的高维分析的统一框架，Stat Sci，27，4538-557（2012）·Zbl 1331.62350号 [51] Nesterov Y（2007）最小化复合目标函数的梯度方法。讨论文件2007076，运筹学和计量经济学中心（CORE）。鲁汶天主教大学 [52] 速度，RK；OW Gilley，《利用数据的空间配置改进估算》，《房地产金融经济学杂志》，第14期，第333-340页（1997年） [53] Rey，W.，《稳健和准稳健统计方法介绍》（1983），柏林：施普林格出版社，柏林·兹比尔0525.62040 [54] Rodriguez，P.，稀疏约束反问题的二项惩罚函数，EUSIPCO，17，2185-2189（2017） [55] Rosset，S。；朱杰，《关于最小角回归的讨论》，《统计年鉴》，第32、2、459-475页（2004） [56] Rousseeuw P，Yohai V（1984）通过S-估计的稳健回归。摘自：稳健和非线性时间序列分析（海德堡，1983），Lect。Notes Stat.，第26卷，纽约斯普林格，第256-272页·Zbl 0567.62027号 [57] 她，Y。；Owen，AB，使用非凸惩罚回归进行离群点检测，美国统计协会期刊，106，494，626-639（2011）·Zbl 1232.62068号 [58] Smucler，E。；Yohai，VJ，线性回归模型的稳健和稀疏估计，计算统计数据分析，111，C，116-130（2017）·Zbl 1464.62164号 [59] Städler，D。；巴赫曼，PJ；van De Geer，N.，（\ell_1）-混合回归模型的惩罚，TEST，19，2，209-256（2010）·Zbl 1203.62128号 [60] Sun，T。；Zhang，CH，评论：\（\ell_1\）-混合回归模型的惩罚[mr267772]，TEST，19，270-275（2010）·Zbl 1203.62130号 [61] Sun，T。；Zhang，CH，标度稀疏线性回归，Biometrika，99，4，879-898（2012）·Zbl 1452.62515号 [62] Tibshirani，R.，通过Lasso回归收缩和选择，J R Stat Soc Ser B，58，1，267-288（1996）·Zbl 0850.62538号 [63] Tukey，JW，《污染分布抽样调查，对概率和统计的贡献》，448-485（1960），斯坦福：斯坦福大学出版社，斯坦福·Zbl 0201.52803号 [64] van de Geer，SA，高维广义线性模型和Lasso，Ann Stat，36，2，614-645（2008）·Zbl 1138.62323号 [65] MJ Wainwright，《高维和噪声环境下稀疏恢复的信息论极限》，IEEE Trans-Inf理论，55，12，5728-5741（2009）·Zbl 1367.94106号 [66] Wang，H。；Leng，C.，《通过最小二乘近似法进行统一拉索估计》，美国统计协会杂志，1021039-1048（2007）·Zbl 1306.62167号 [67] Wang，H。；李·G。；Jiang，G.，通过LAD-Lasso稳健回归收缩和一致变量选择，《公共汽车经济统计杂志》，25，3，347-355（2007） [68] Wang，L.，高维线性回归的惩罚LAD估计量，J Multivar Anal，120135-151（2013）·Zbl 1279.62144号 [69] 王，Z。；刘，H。；Zhang，T.，稀疏非凸学习问题的最优计算和统计收敛速度，Ann Stat，42，6，2164-2201（2014）·Zbl 1302.62066号 [70] Zhang，CH，极小极大凹罚下的几乎无偏变量选择，Ann Stat，38，2，894-942（2010）·Zbl 1183.62120号 [71] Zou，H.，自适应Lasso及其oracle属性，J Am Stat Assoc，101，476，1418-1429（2006）·Zbl 1171.62326号 [72] 邹，H。；Hastie，T.，《通过弹性网进行正则化和变量选择》，J R Stat Soc Ser B Stat Methodol，67，2，301-320（2005）·兹比尔1069.62054 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。