×

EnMSP:高维回归的弹性网多步骤筛选程序。 (英语) Zbl 07840064号

摘要:为了提高高维回归问题的估计效率,通常使用惩罚正则化。然而,准确估计模型仍然具有挑战性,尤其是在存在相关效应的情况下,其中不相关的协变量与相关变量表现出很强的相关性。这种情况称为相关数据,给模型估计带来了额外的复杂性。在本文中,我们提出了弹性网多步骤筛选过程(EnMSP),这是一种迭代算法,旨在恢复相关数据背景下的稀疏线性模型。EnMSP使用一种小的重复惩罚策略来在几次迭代中识别真正相关的协变量。具体来说,在每次迭代中,EnMSP通过添加加权(l_2)惩罚来增强自适应套索方法,从而改进了相关协变量的选择。给出了在一定条件下选择真实模型并达到l_2范数误差界的方法。EnMSP的有效性通过数值比较和在财务数据中的应用得到了证明。

MSC公司:

2008年6月62日 统计问题的计算方法
62J05型 线性回归;混合模型
62J07型 岭回归;收缩估计器(拉索)

软件:

屏幕清洁
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Bühlmann,P.,《高维线性模型的统计意义》,伯努利,19,4,1212-1242,(2013)·Zbl 1273.62173号 ·doi:10.350/12-BEJSP11
[2] Bühlmann,P。;卡利施,M。;Maathuis,MH,《高维线性模型中的变量选择:部分忠实分布和pc-simple算法》,Biometrika,97,2,261-278,(2010)·Zbl 1233.62135号 ·doi:10.1093/biomet/asq008
[3] 坎迪斯,E。;Tao,T.,dantzig选择器:当p远大于n时的统计估计,《统计年鉴》,35,6,2313-2351,(2007)·Zbl 1139.62019号
[4] Cho,H。;Fryzlewicz,P.,《通过倾斜选择高维变量》,J.Roy。统计社会服务。B(Stat.Methodol.),第74、3、593-622页,(2012年)·Zbl 1411.62183号 ·doi:10.1111/j.1467-9868.2011.01023.x
[5] 戴,L。;Chen,K。;孙,Z。;刘,Z。;Li,G.,Broken自适应岭回归及其渐近性质,J.Multivar。分析。,168334-351(2018)·Zbl 1401.62108号 ·doi:10.1016/j.jmva.2018.08.007
[6] 范,JQ;Li,RZ,通过非一致惩罚似然选择变量及其预言性质,美国统计协会,96,456,1348-1360,(2001)·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[7] 范,JQ;Lv,JC,具有np维的非凹陷惩罚似然,IEEE Trans。Inf.理论,57,8,5467-5484,(2011)·Zbl 1365.62277号 ·doi:10.10109/TIT.2011.2158486
[8] 范,J。;薛,L。;Zou,H.,折叠凹惩罚估计的强预言最优性,Ann.Stat.,42,3,819-849,(2014)·Zbl 1305.62252号 ·doi:10.1214/13-AOS1198
[9] Hilafu,H。;Yin,X.,具有高度相关预测因子的大p-small-n数据的充分降维和变量选择,J.Compute。图表。统计,26,1,26-34,(2017)·doi:10.1080/10618600.2016.1164057
[10] Javanmard,A.,Montanari,A.:高斯随机设计模型下高维回归的假设检验:渐近理论。IEEE传输。《信息论》60(10),6522-6554(2014)·Zbl 1360.62074号
[11] Jin,J。;张,C-H;张强,高维变量选择中石墨线屏蔽的最优化,J.Mach。学习。第15号、第1号、第2723-2772号决议(2014年)·Zbl 1319.62139号
[12] Kim,S-J;Koh,K。;博伊德,S。;Gorinevsky,D.,(l_1)趋势过滤,SIAM Rev.,51,2,339-360,(2009)·Zbl 1171.37033号 ·doi:10.1137/070690274
[13] Maier,A.,Rodríguez-Salas,D.:回归问题中高度相关特征的快速稳健选择。2017年第十五届IAPR机器视觉应用国际会议(MVA),第482-485页。IEEE(2017)
[14] Meade,N.,Salkin,G.R.:指数基金——构建和绩效衡量。《运营杂志》。Res.Soc.40(10),871-879(1989)
[15] Meinshausen,北卡罗来纳州。;Yu,B.,高维数据稀疏表示的Lasso类型恢复,Ann.Stat.,37,1,246-270,(2009)·Zbl 1155.62050号 ·doi:10.1214/07-AOS582
[16] Negahban,S.、Ravikumar,P.、Wainwright,M.J.、Yu,B.:具有可分解正则化子的高维估计量分析的统一框架。统计科学。27(4), 1348-1356 (2012)
[17] Pearson,K.,关于双亲回归和遗传的注释,Proc。罗伊。伦敦证券交易所。,58, 347-352, 240-242, (1895)
[18] 拉斯库蒂,G。;温赖特,MJ;Yu,B.,相关高斯设计的限制特征值特性,J.Mach。学习。第11号决议,2241-2259,(2010年)·Zbl 1242.62071号
[19] 罗奇科娃,V。;George,EI,The spide-and-slab lasso,J.Am.Stat.Assoc.,113,521,431-444,(2018年)·Zbl 1398.62186号 ·doi:10.1080/01621459.2016.1260469
[20] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.Roy。Stat.Soc.B,58,1,267-288,(1996)·Zbl 0850.62538号
[21] Tibshirani,R.,《考克斯模型中变量选择的套索方法》,《统计医学》,第16、4、385-395页,(1997)·doi:10.1002/(SICI)1097-0258(19970228)16:4<385::AID-SIM380>3.0.CO;2-3
[22] Yang,Y。;朱,J。;George,EI,MuSP:稀疏恢复的多步骤筛选程序,Stat,10,(2020)·兹伯利07851292 ·doi:10.1002/sta4.352
[23] 袁,M。;Lin,Y.,《分组变量回归中的模型选择和估计》,J.Roy。Stat.Soc.B,68,1,49-67,(2006)·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[24] Zhang,CH,最小最大凹惩罚下的几乎无偏变量选择,Ann.Stat.,38,2,894-942,(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[25] Zhang,CH,最小最大凹惩罚下的几乎无偏变量选择,Ann.Stat.,38,2,894-942,(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[26] Zhang,T.,稀疏正则化的多级凸松弛分析,J.Mach。学习。第11号决议,1081-1107,(2010年)·Zbl 1242.68262号
[27] 赵,P。;Yu,B.,关于套索的模型选择一致性,J.Mach。学习。第7号决议,2541-2563,(2006年)·Zbl 1222.62008年
[28] Zou,H.,《自适应套索及其预言属性》,美国统计协会,101,476,1418-1429,(2006)·Zbl 1171.62326号 ·doi:10.1198/016214500000735
[29] 邹,H。;Hastie,T.,《通过弹性网进行正则化和变量选择》,J.Roy。Stat.Soc.B,67,2301-320,(2005年)·Zbl 1069.62054号 ·文件编号:10.1111/j.1467-9868.2005.005.x
[30] 邹,H。;Li,R.,非冲突惩罚似然模型中的一步稀疏估计,Ann.Stat.,36,4,1509-1533,(2008)·Zbl 1142.62027号
[31] 邹,H。;张海龙,关于参数发散的自适应弹性网,《统计年鉴》,37,4,1733-1751,(2009)·Zbl 1168.62064号 ·doi:10.1214/08-AOS625
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。