×

高维GLM回归中惩罚诱导的无旋转收缩:空洞分析。 (英语) Zbl 07656200号

摘要:在高维回归中,协变量的数量与观测值的数量成正比,岭惩罚通常被用作防止过度拟合的补救措施。不幸的是,对于相关协变量,这种规则化通常在广义线性模型中不仅导致估计参数向量的收缩,而且还导致不需要的旋转相对于真矢量。我们用岭惩罚的推广来解析地说明如何消除这个问题,并用腔方法分析了高维区域中相应估计量的渐近性质。我们的结果也为调节控制收缩量的参数提供了定量的理论依据。我们将理论预测与模拟数据进行了比较,发现两者非常吻合。

MSC公司:

62-XX年 统计
86年X月X日 地球物理学
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Harrell,F.E Jr,回归建模策略:线性模型的应用,逻辑回归和生存分析(2001),柏林:施普林格出版社,柏林·Zbl 0982.62063号
[2] A.C.库伦。;谢赫,M。;Mozeika,A。;Aguirre-Lopez,F。;Antenucci,F.,J.物理学。A: 数学。理论。,53 (2020) ·兹比尔1519.62015 ·doi:10.1088/1751-8121/aba028
[3] 马萨,E。;容克,M。;Roes,K。;Coolen,A.C C.,回归模型中过拟合偏差的修正(2022)
[4] A.C.库伦。;谢赫,M.,J.Phys。A: 数学。理论。,52 (2019) ·Zbl 1504.62145号 ·doi:10.1088/1751-8121/ab375c
[5] 霍尔,A.E。;Kennard,R.W.,《技术计量学》,第12期,第55-67页(1970年)·Zbl 0202.17205号 ·网址:10.1080/00401706.1970.10488634
[6] O.莱多特。;Wolf,M.,J.多元分析。,139, 360-84 (2015) ·Zbl 1328.62340号 ·doi:10.1016/j.jmva.2015.04.006
[7] El Karoui,N.,Ann.Stat.,36,2757-90(2008)·Zbl 1168.62052号 ·doi:10.1214/07-AOS581
[8] Livan,G。;Novaes,M。;Vivo,P.,《随机矩阵导论》(2018),柏林:施普林格出版社,柏林·Zbl 1386.15003号
[9] 库伊莱特,R。;Debbah,M.,《无线通信随机矩阵方法》(2011),剑桥:剑桥大学出版社,剑桥·Zbl 1252.94001号
[10] Stein,C.,第1卷,第197-206页(1956年)
[11] Copas,J.B.,J.R.Stat.Soc.B,45111-35(1983年)·Zbl 0532.62048号 ·doi:10.1111/j.2517-6161.1983.tb01258.x
[12] Copas,J.B.,《统计方法医学研究》,第6期,第167-83页(1997年)·doi:10.1177/096228029700600206
[13] El Karoui,N。;比恩,D。;Bickel,P.J。;林,C。;Yu,B.,程序。美国国家科学院。科学。美国,110,14557-62(2013)·兹比尔1359.62184 ·doi:10.1073/pnas.1307842110
[14] Van Der Vaart,A.,《渐进统计》(2000),剑桥:剑桥大学出版社,剑桥·Zbl 0943.6202号
[15] A.C.库伦。;巴雷特,J.E。;帕加,P。;Perez-Vicente,C.J.和J.Phys。A: 数学。理论。,50 (2017) ·Zbl 1373.62483号 ·doi:10.1088/1751-8121/aa812f
[16] 梅扎德,M。;帕里西,G.,J.Physique Lett。,46, 771-8 (1985) ·doi:10.1051/jphyslet:019850046017077100
[17] 梅扎德,M。;巴黎,G。;Virasoro,M.,《自旋玻璃理论及其发展》(1986年),新加坡:世界科学出版社,新加坡
[18] M.梅扎德,J.Phys。A: 数学。理论。,22, 2181-90 (1989) ·doi:10.1088/0305-4470/22/018
[19] El Karoui,N.,Probab公司。理论关联。菲尔德,170,95-175(2013)·Zbl 1407.62060号 ·doi:10.1007/s00440-016-0754-9
[20] 巴比尔,J。;陈,W-K;潘琴科,D。;Aenz,M.S.,贝叶斯线性回归在不匹配模型中的性能(2021)
[21] Talangrad,M.,《自旋玻璃的平均场模型》,第1卷(2010年),柏林:施普林格出版社,柏林
[22] Boucheron,S。;卢戈西,G。;Massart,P.,《集中不等式:独立性的非渐近理论》(2013),牛津:牛津大学出版社,牛津·Zbl 1279.60005号
[23] 帕里西·G·莱特。数学。物理。,88, 255 (2009) ·兹比尔1375.82053 ·doi:10.1007/s11005-009-0317-4
[24] 核心团队,R2021R:统计计算的语言和环境(网址:www.R-project.org/)
[25] Borchers,H W2021pracma:实用数字数学函数(可在:https://CRAN.R-project.org/package=pracma)
[26] 苏尔,P。;坎迪斯,E.J.,Proc。美国国家科学院。科学。,116, 14516-25 (2019) ·Zbl 1431.62084号 ·doi:10.1073/pnas.1810420116
[27] O.莱多特。;Wolf,M.,J.金融。经济。,20, 187-218 (2020) ·doi:10.1093/jjfinec/nbaa007
[28] Goldt,S。;Loureiro,B。;里夫斯,G。;Krzakala,F。;Mézard,M。;Zdeborová,L.,第145卷,第426-71页(2022年)
[29] Kostantinos,N.P。;Dimitris,H.,《高级信号处理手册:雷达、声纳和医学成像实时系统的理论和实现》(2001),伦敦:Taylor和Francis,伦敦
[30] Loureiro,B。;Gerbelot,C。;崔,H。;Goldt,S。;Krzakala,F。;Mézard,M。;Zdeborová,L.,使用师生模型的真实数据集的通用特征映射学习曲线(2021)
[31] Montanari,A。;Saeed,B.,第178卷,第4310-12页(2022年)
[32] Corless,R。;Gonnet,G。;兔子,D。;杰弗里,D。;克努思博士,高级计算机。数学。,5, 329-59 (1996) ·Zbl 0863.65008号 ·doi:10.1007/BF02124750
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。