×

回归问题的稀疏拉普拉斯收缩和图形拉索估计。 (英语) Zbl 1484.62096号

摘要:本文考虑一个高维线性回归问题,其中预测因子之间存在复杂的相关结构。我们提出了一种图形约束的正则化方法,称为稀疏拉普拉斯收缩和图形拉索估计(SLS-GLE)。该过程使用估计精度矩阵来描述预测因子之间条件依赖模式的具体信息,并鼓励回归模型和图形模型的稀疏性。我们介绍了采用图形信息的拉普拉斯二次罚函数,并详细讨论了利用精度矩阵构造拉普拉斯矩阵的优点。理论性质和数值比较表明,该方法提高了模型的可解释性和估计精度。我们还将该方法应用于一个财务问题,并证明所提出的程序在资产选择中是成功的。

MSC公司:

62J07型 岭回归;收缩估计器(拉索)
2012年12月62日 参数估计量的渐近性质
62J05型 线性回归;混合模型
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] PJ Bickel;Ritov,Y。;Tsybakov,AB,套索和Dantzig选择器的同步分析,Ann Stat,37,4,1705-1732(2009)·Zbl 1173.62022号 ·doi:10.1214/08-AOS620
[2] Chung F(1997)谱图理论。CBMS数学区域会议系列。美国数学学会·Zbl 0867.05046号
[3] 大冶,ZJ;Jeng,XJ,收缩率和通过加权融合的相关变量的模型选择,Comput Stat Data Anal,53,41234-1298(2009)·Zbl 1452.62049号 ·doi:10.1016/j.csda.2008.11.007
[4] 范,J。;Peng,H.,参数个数不同的非冲突惩罚可能性,Ann Stat,32,3,928-961(2004)·Zbl 1092.62031号 ·doi:10.1214/009053604000000256
[5] 范,JQ;Li,RZ,通过非洞穴惩罚似然的变量选择及其预言性质,美国国家统计协会,964561348-1360(2001)·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[6] 弗里德曼,J。;哈斯蒂,T。;Höfling,H。;Tibshirani,R.,Pathwise坐标优化,Ann Appl Stat,1,2,302-332(2007)·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131
[7] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,用图形套索进行稀疏逆协方差估计,生物统计学,9,3,432-441(2008)·Zbl 1143.62076号 ·doi:10.1093/biostatistics/kxm045
[8] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,RJ,通过坐标下降广义线性模型的正则化路径,J Stat Softw,33,1,1-22(2010)·doi:10.18637/jss.v033.i01
[9] 郭建华;胡,JC;京,BY;Zhang,高维线性回归中的样条函数,美国统计协会期刊,111,513,288-297(2016)·doi:10.1080/01621459.2015.1005839
[10] 希比里,M。;van de Geer,S.,《平滑法和其他(l1+l2)惩罚法》,《电子统计杂志》,第5期,第1184-1226页(2011年)·Zbl 1274.62443号 ·doi:10.1214/11-EJS638
[11] Huang J,Breheny P,Lee S,Ma S,Zhang CH(2016)变量选择的记忆法。统计Sin 26(3):903-923·兹比尔1356.62091
[12] 黄,J。;马,S。;李,H。;Zhang,CH,高维回归的稀疏拉普拉斯收缩估计,Ann Stat,39,4,2021-2046(2011)·Zbl 1227.62049号 ·doi:10.1214/11-AOS897
[13] 李,CY;Li,HZ,用于基因组数据分析的网络约束正则化和变量选择,生物信息学,24,9,1175-1182(2008)·doi:10.1093/bioinformatics/btn081
[14] 李,CY;Li,HZ,图形结构协变量的变量选择和回归分析及其在基因组学中的应用,Ann Appl Stat,4,3,1498-1516(2010)·Zbl 1202.62157号
[15] Li Y,Mark B,Raskutti G,Willett R(2018)高相关设计回归问题的基于图的正则化。在:2018年IEEE信号和信息处理全球会议(GlobalSIP)。IEEE,第740-742页
[16] Mazumder,R。;JH弗里德曼;Hastie,T.,Sparsenet:协调下降与非凸惩罚,《美国统计协会杂志》,106,495,1125-1138(2011)·Zbl 1229.62091号 ·doi:10.1198/jasa.2011.tm09738
[17] 明绍森,N。;Yu,B.,高维数据稀疏表示的Lasso型恢复,Ann Stat,37,1246-270(2009)·Zbl 1155.62050号 ·doi:10.1214/07-AOS582
[18] 拉维库马尔,P。;温赖特,MJ;Raskutti,G。;Yu,B.,通过最小化l1惩罚对数决定元散度的高维协方差估计,Electron J Stat,5935-980(2011)·Zbl 1274.62190号 ·doi:10.1214/11-EJS631
[19] She,YY,《稀疏回归与精确聚类》,Electron J Stat,41055-1096(2010)·Zbl 1329.62327号 ·doi:10.1214/10-EJS578
[20] 西蒙,N。;弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,《稀疏群套索》,《计算机图形统计杂志》,22,2,231-245(2013)·doi:10.1080/10618600.2012.681250
[21] Tibshirani,R.,《通过套索进行回归收缩和选择》,J R Stat Soc:Ser B,58,1,267-288(1996)·Zbl 0850.62538号
[22] Tibshirani,R。;桑德斯,M。;Rosset,S。;朱,J。;K.奈特(K.K.Knight),《通过融合套索实现的稀疏与平滑》,J R Stat Soc:Ser B,67,1,91-108(2005)·Zbl 1060.62049号 ·文件编号:10.1111/j.1467-9868.2005.00490.x
[23] Wainwright,MJ,《使用(l_1)约束二次规划(lasso)进行噪声和高维稀疏恢复的夏普阈值》,IEEE Trans-Inf理论,55,5,2183-2202(2009)·Zbl 1367.62220号 ·doi:10.1109/TIT.2009.2016018
[24] Wu,L。;Yang,Y。;Liu,H.,非负套索及其在指数跟踪中的应用,Comput Stat Data Anal,70111-126(2014)·Zbl 1471.62220号 ·doi:10.1016/j.csda.2013.08.012
[25] Yang,Y。;Yang,H.,高维相关数据分析的自适应和反向惩罚,应用数学模型,92,63-77(2021)·兹比尔1481.62040 ·doi:10.1016/j.apm.2020.11.004
[26] 袁,M。;Lin,Y.,分组变量回归中的模型选择和估计,J R Stat Soc:Ser B,68,1,49-67(2006)·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x
[27] 袁,M。;Lin,Y.,高斯图形模型中的模型选择和估计,生物统计学,94,1,19-35(2007)·Zbl 1142.62408号 ·doi:10.1093/biomet/asm018
[28] 张,B。;Horvath,S.,加权基因共表达网络分析的一般框架,Stat Appl Genet Mol Biol,4,1,1-45(2005)·兹比尔1077.92042 ·数字对象标识代码:10.2202/1544-6115.1128
[29] Zhang,CH,最小最大凹惩罚下的几乎无偏变量选择,Ann Stat,38,2,894-942(2010)·Zbl 1183.62120号 ·doi:10.1214/09-AOS729
[30] 赵,P。;Yu,B.,关于套索的模型选择一致性,J Mach Learn Res,72541-2563(2006)·Zbl 1222.62008年
[31] 邹,H。;Hastie,T.,通过弹性网络的正则化和变量选择,J R Stat Soc:Ser B,67,2301-320(2005)·Zbl 1069.62054号 ·数字对象标识代码:10.1111/j.1467-9868.2005.0050.x
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。