×

使用Liu和Lasso正则化的一种新的双正则回归。 (英语) Zbl 1505.62155号

摘要:本文讨论了一种在惩罚回归方法范围内同时进行参数估计和变量选择的新估计量。该估计量是具有\(\ell_1\)-范数惩罚的Liu估计量的扩展。我们给出了坐标下降算法来有效地估计所提出估计器的系数向量。我们还检验了估计量的一致性。我们进行了模拟研究和两次真实数据分析,将所提出的估计量与几种估计量进行了比较,包括ridge、Liu、lasso和弹性网。仿真研究和实际数据分析表明,除了执行自动变量选择外,新估计器在稀疏和非解析数据结构下具有可观的预测性能,均方误差较小。

MSC公司:

62-08 统计问题的计算方法
62J07型 岭回归;收缩估计器(拉索)
62J05型 线性回归;混合模型
62甲12 多元分析中的估计

软件:

格尔姆奈特
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 贝洛尼,A。;切尔诺朱科夫,V。;Wang,L.,非参数回归中基于平方套索的枢轴估计,Ann Stat,42,2,757-788(2014)·Zbl 1321.62030号 ·doi:10.1214/14-AOS1204
[2] Boyd S、Parikh N、Chu E、Peleato B、Eckstein J(2011)《通过交替方向乘数法进行分布式优化和统计学习》。Found Trends®马赫学习3(1):1-122·Zbl 1229.90122号
[3] Breheny,P。;Huang,J.,非凸惩罚回归的坐标下降算法,及其在生物特征选择中的应用,Ann Appl Stat,5,1,232(2011)·Zbl 1220.62095号 ·doi:10.1214/10-AOAS388
[4] 坎迪斯,EJ;Tao,T.,凸松弛的力量:近最优矩阵完成,IEEE Trans-Inf理论,56,5,2053-2080(2010)·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061
[5] 多诺霍,DL;Johnstone,JM,通过小波收缩实现理想的空间自适应,Biometrika,81,3,425-455(1994)·Zbl 0815.62019号 ·doi:10.1093/biomet/81.3.425
[6] 埃夫隆,B。;哈斯蒂,T。;约翰斯通,I。;Tibshirani,R.,《最小角度回归》,《Ann Stat》,第32、2、407-499页(2004年)·兹比尔1091.62054 ·doi:10.1214/009053604000000067
[7] 弗里德曼,J。;哈斯蒂,T。;Höfling,H。;Tibshirani,R.,Pathwise坐标优化,Ann Appl Stat,1,2,302-332(2007)·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[8] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,通过坐标下降广义线性模型的正则化路径,J Stat Softw,33,1,1(2010)·doi:10.18637/jss.v033.i01
[9] 哈斯蒂,T。;Tibshirani,R。;Wainwright,M.,《稀疏性统计学习:套索和概括》(2015),博卡拉顿:CRC出版社,博卡拉通·Zbl 1319.68003号 ·doi:10.1201/b18401
[10] 霍尔,AE;Kennard,RW,Ridge回归:非正交问题的有偏估计,技术计量学,12,1,55-67(1970)·Zbl 0202.17205号 ·网址:10.1080/00401706.1970.10488634
[11] 休伯特,M。;Wijekoon,P.,线性回归模型中Liu估计的改进,Stat Pap,47,3,471(2006)·兹比尔1125.62055 ·文件编号:10.1007/s00362-006-0300-4
[12] Kato,K.,argmin过程的渐近性:凸性自变量,J Multivar Anal,100,1816-1829(2009)·Zbl 1330.62311号 ·doi:10.1016/j.jmva.2009.02.008
[13] Knight K,Fu W(2000)套索型估计量的渐近性。安统计1356-1378·Zbl 1105.62357号
[14] 李毅。;Yang,H.,线性回归模型中的一种新的Liu型估计,Stat Pap,53,2,427-437(2012)·Zbl 1440.62275号 ·doi:10.1007/s00362-010-0349-y
[15] 刘凯,线性回归中的一类新的盲估计,公共统计理论方法,22,2393-402(1993)·Zbl 0797.62058号 ·doi:10.1080/03610929308831034
[16] Liu,K.,使用Liu型估计器对抗共线性,公共统计理论方法,32,5,1009-1020(2003)·Zbl 1107.62345号 ·doi:10.1081/STA-120019959
[17] Stamey,T.A。;卡巴林,J.N。;麦克尼尔,J.E。;约翰斯通,I.M。;弗雷哈,F。;Redwine,E.A。;Yang,N.,前列腺特异性抗原在前列腺癌诊断和治疗中的应用。二、。根治性前列腺切除术治疗的患者,《泌尿外科杂志》,141,5,1076-1083(1989)·doi:10.1016/S0022-5347(17)41175-X
[18] Stein C(1956)多元正态分布均值的常用估计的不可接受性。摘自:第三届伯克利数理统计与概率研讨会论文集,第1卷:对统计学理论的贡献。加州大学伯克利分校出版社,第197-206页·Zbl 0073.35602号
[19] Tibshirani,R.,通过套索进行回归收缩和选择,J R Stat Soc Ser B(Methodol),58,267-288(1996)·Zbl 0850.62538号
[20] RJ Tibshirani;Hoefling,H。;Tibshirani,R.,《近等渗回归》,《技术计量学》,第53、1、54-61页(2011年)·doi:10.1198/TECH.2010.1111
[21] Tseng,P.,不可微极小化的块坐标下降法的收敛性,最优化理论应用杂志,109,3475-494(2001)·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[22] Yang,H。;Chang,X。;Liu,D.,加权混合回归中Liu估计的改进,公共统计理论方法,38,2,285-292(2009)·Zbl 1292.62107号 ·doi:10.1080/03610920802192513
[23] Yang,H。;Xu,J.,线性回归中的另一种随机限制Liu估计,Stat Pap,50,3,639-647(2009)·Zbl 1312.62093号 ·doi:10.1007/s00362-007-0102-3
[24] 袁,M。;Lin,Y.,分组变量回归中的模型选择和估计,J R Stat Soc Ser B(Stat Methodol),68,1,49-67(2006)·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[25] 袁,M。;Lin,Y.,高斯图形模型中的模型选择和估计,生物统计学,94,1,19-35(2007)·Zbl 1142.62408号 ·doi:10.1093/biomet/asm018
[26] 邹,H。;Hastie,T.,《通过弹性网进行正则化和变量选择》,J R Stat Soc Ser B(Stat Methodol),67,2,301-320(2005)·Zbl 1069.62054号 ·数字对象标识代码:10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。