×

兹马思-数学第一资源

最小角度和\(\ell{1}\)惩罚回归:综述。(英语) Zbl公司 1189.62070
小结:最小角度回归是一种很有前途的变量选择应用技术,为逐步回归提供了一种很好的替代方法。它解释了LASSO(\(\ell{1}\)-惩罚回归和正向阶段回归的相似行为,并提供了两者的快速实现。这一想法迅速流行起来,并引发了大量的研究兴趣。本文综述了最小角度回归及其相关研究现状。

理学硕士:
62G08型 非参数回归与分位数回归
65立方英尺 统计计算问题(MSC2010)
62J99型 线性推断,回归
6207年 岭回归;收缩估计(套索)
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 亚当斯,J。L(1990年)评估回归策略的计算机实验。统计计算组会议录,55-62。美国统计协会。
[2] 阿瓦洛斯,M.,外婆,Y。安布罗斯,C(2007)简约加性模型,计算统计和数据分析,512851-2870·Zbl公司 1161.62354·doi:10.1016/j.csda.2006.10.007
[3] 巴金,S(数据挖掘问题中的自适应回归和模型选择。博士。论文,澳大利亚国立大学。
[4] 巴拉克里希南,S。还有Madigan D(2007年)使用laps寻找预测运行,国际机器学习会议(ICML),415-420。
[5] 班纳吉,奥兰多州,埃尔盖伊,L。还有d'Aspremont,A(2008)多元高斯或二元数据稀疏极大似然估计模型选择,机器学习研究杂志(出现)·Zbl公司 1225.68149·www.jmlr.org
[六] 布雷曼,L(1995)使用非负绞喉的更好的子集回归,技术度量,37373-384。JSTOR公司:·Zbl公司 862.62059·内政部:10.2307/1269730·links.jstor.org
[7] Bü赫曼,P。还有梅尔,L(2008年)H。邹和R。统计年鉴(出现)·Zbl公司 1282.62096
[8] Bü赫曼,P。还有余,乙(2006年)稀疏提升,机器学习研究杂志,71001-1024·Zbl公司 1222.68155·www.jmlr.org
[9] 布尼亚,F.,茨巴科夫,A。韦坎普,M。H(2007)稀疏甲骨文套索不等式,电子统计杂志,1169-194·Zbl公司 1146.62028·doi:10.1214/07-EJS008
[10] 坎迪斯,E。陶,T(2007)Dantzig选择器:当p比n大得多时的统计估计。《统计年鉴》,352313-2351·Zbl公司 1139.62019·doi:10.1214/0090536060000001523·欧几里得:aos/1201012958
[11] 坎迪斯,坎迪斯。J、 ,沃金,M。还有博伊德(2007)通过重加权L1最小化增强稀疏性。加州理工学院技术代表。
[12] 陈,S.,Donoho,D。桑德斯先生(1998)原子分解基追踪,暹罗科学计算杂志,20,33-61·Zbl公司 919.94002·doi:10.1137/S1064827596304010
[13] 崔,N。H。朱,J(2006)具有强烈遗传/边缘约束的变量选择。密歇根大学统计系技术代表。
[14] 达尔,J.,范登伯格,L。罗伊乔杜里,V(2008)非弦图协方差的弦嵌入选择,优化方法和软件(出现)·Zbl公司 1151.90514
[15] 德雷珀,N。R。史密斯,H(1998),应用回归分析。威利,第三版·Zbl公司 895.62073
[16] 埃夫隆,B。还有黑斯,T(2003年),R和Splus的LARS软件。http://www-stat.stanford.edu/黑丝/报纸/拉尔斯。
[17] 埃夫隆,B.,黑斯蒂,T.,约翰斯顿,I。还有提比拉尼(2004)最小角度回归,《统计年鉴》,32407-451·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[18] 埃夫隆,B.,黑斯蒂,T。还有提比拉尼(2007)E。坎迪斯和T。《统计年鉴》,352358-2364。·doi:10.1214/009053607000000433
[19] 埃弗里姆森,M。A(1960)多元回归分析。在《数字计算机的数学方法》(A版)。拉尔斯顿和H。美国。Wilf),第1卷,191-203。威利。
[20] 范,J。李,R(2001)通过非CAVE惩罚似然及其预言性质的变量选择,美国统计协会杂志,961348-1360。JSTOR公司:·Zbl公司 1073.62547·doi:10.1198/016214501753382273·links.jstor.org
[21] 弗雷利,C。还有赫斯特伯格(2007)大数据集的最小角度回归和套索。技术代表,有见地,公司。
[22] 弗兰克,我。E。还有弗里德曼,J。H(1993)一些化学计量学回归工具的统计观点,讨论,技术计量学,35109-148·Zbl公司 775.62288·内政部:10.2307/1269656
[23] 弗伦德,Y。沙皮里,R。E(1997)在线学习的决策理论概括与应用,计算机与系统科学杂志,55119-139·Zbl公司 880.68103·doi:10.1006/jcss.1997.1504
[24] 弗里德曼,J(2006)牧群兰姆达斯:惩罚回归和分类的快速算法,手稿。
[25] 弗里德曼,J。H(1991)多变量自适应回归样条线,《统计年鉴》,19,1-67·Zbl公司 765.62064·doi:10.1214/aos/1176347963
[26] 弗里德曼,J。H、 ,黑斯,T.,Hö弗林,H。还有提比拉尼(2007a)路径坐标优化,《应用统计学年鉴》,1302-332·Zbl公司 1378.90064·doi:10.1214/07-AOAS131
[27] 弗里德曼,J。H、 ,黑斯,T。还有提比拉尼(2007b)稀疏逆协方差估计与图形套索,生物统计学(2007年12月12日在线发布)·Zbl公司 1143.62076
[28] 付,W(1998)惩罚回归:桥梁与套索,计算与图形统计杂志,7397-416。JSTOR公司:·doi:10.2307/1390712·links.jstor.org
[29] 付,W(2000),S-PLUS软件包brdgrun,用于桥梁损失估算。http://lib.stat.cmu.edu/S/brdgrun.shar。
[30] 弗尼瓦尔,G。M。还有小威尔逊。W(1974年)《跨越式回归》,技术计量学,16499-511·Zbl公司 294.62079·内政部:10.2307/1267601
[31] 高,H.-Y(1998)小波收缩去噪使用非负garrote,计算和图形统计杂志,7469-488。JSTOR公司:·内政部:10.2307/1390677·links.jstor.org
[32] 根金,A.,刘易斯,D。D。还有Madigan D(2007)文本分类的大规模贝叶斯逻辑回归,技术计量学,49291-304。·doi:10.1198/0040170000000245
[33] Ghosh,S(2007)自适应弹性网:对弹性网的改进,以实现oracle的特性。印第安纳大学普渡大学数学科学系技术代表。
[34] 格林斯泰因,E。还有里托夫(2004)高维线性预测值选择的持续性和过度参数化的优点,Bernoulli,10971-988·Zbl公司 1055.62078·doi:10.3150/bj/1106314846
[35] 桂,J。还有李,H(2005)高维和低样本量环境下的惩罚Cox回归分析,应用于微阵列基因表达数据,生物信息学,213001-3008。
[36] Guigue,V.,Rakotomamongy,A。加努,美国(2006年)核心基础研究,《智能人工年鉴》,20757-774。
[37] 冈恩,S。R。坎多拉,J。美国(2002)稀疏核结构建模,机器学习,10581-591·Zbl公司 998.68119
[38] 滨田,M。还有吴,C(1992)复杂混叠的设计实验分析,质量技术杂志,24130-137。
[39] 黑斯蒂,T.,罗塞特,S.,蒂比拉尼,R。朱,J(2004)支持向量机的整条正则化路径,机器学习研究杂志,51391-1415。2004年3月5日·Zbl公司 1222.68213·www.jmlr.org
[40] 黑斯蒂,T.,泰勒,J.,蒂比拉尼,R。还有沃尔特,G(2007)正向阶段回归和单调套索,电子统计杂志,1,1-29·Zbl公司 1306.62176·doi:10.1214/07-EJS004
[41] 黑斯蒂,T.,蒂比拉尼,R。还有弗里德曼,J(2001),统计学习要素:数据挖掘、推理和预测。斯普林格·维拉格·Zbl公司 973.62007
[42] 赫斯特伯格,T。弗雷利,C(2006a)最小回归角。向NIH提议,http://www.insightful.com/lars。
[43] 赫斯特伯格,T。弗雷利,C(2006b)S-PLUS和R软件包,用于最小角度回归。美国统计协会会刊,统计计算部分[CD-ROM],2054-2061。弗吉尼亚州亚历山大市:美国统计协会。
[44] 黄,J.,Ma,S。还有张,C.-H(2008)稀疏高维回归模型的自适应套索,中国统计局(出现)·Zbl公司 1255.62198
[45] 哈尔维奇,C。M。还有蔡,C.-L(1990)模型选择对线性回归推断的影响,美国统计学家,44214-217。
[46] Insightful Corportation(2006),GLARS:R和S-PLUS的广义最小角度回归软件。http://www.insightful.com/lars。
[47] 伊什瓦兰,H(2004)Efron等人讨论“最小角度回归”,统计年鉴,32452-458·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[48] 乔利夫,I.,特伦达菲洛夫,N。还有乌丁,M(2003)基于LASSO的改进主成分技术,《计算与图形统计杂志》,12531-547。JSTOR公司:·doi:10.1198/1061860032148·links.jstor.org
[49] Keerthi,S。谢瓦德,S(2007)通用lars/lasso的快速跟踪算法,IEEE神经网络交易,1826-1830。
[50] 可汗,J。A、 ,Van Aelst,S。还有扎马尔。H(2007)基于最小角度回归的稳健线性模型选择,美国统计协会杂志,1021289-1299·Zbl公司 1332.62240·doi:10.1198/01621450700000950
[51] 金,J,金,Y。还有金,Y(2005a),glasso:R-梯度套索算法包。http://idea.snu.ac.kr/Research/glassozskim/glasso.htm。R程序包版本0.9,http://idea.snu.ac.kr/Research/glassozskim/glasso.htm。
[52] 金,J,金,Y。还有金,Y(2005b)梯度套索算法。技术报告,首尔国立大学·Zbl公司 1134.62046
[53] 金,Y,金,J。还有金,Y(2006)块稀疏回归,中国统计局,16375-390·Zbl公司 1096.62076
[54] 奈特,K(2004)Efron等人关于“最小角度回归”的讨论,《统计年鉴》,32458-460·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[55] 冷,C,林,Y。还有瓦哈巴(2006)关于模型选择中套索和相关程序的说明,中国统计局,16,1273-1284·Zbl公司 1109.62056
[56] 林,Y。还有张,H(2006)多元非参数回归中的成分选择和平滑,《统计年鉴》,342272-2297·Zbl公司 1106.62041·doi:10.1214/009053606000000722
[57] 洛霍斯特,J(1999年)套索和广义线性模型。澳大利亚阿德莱德大学荣誉项目。
[58] Lokhorst,J.,Venables,B。还有图拉克,B(1999),Lasso2:L1约束估计程序。http://www.mathematics.uwa.edu.au/软件/berlasso.html。
[59] 卢布,J。还有按摩,P(2004)Efron等人讨论“最小角度回归”,统计年鉴,32460-465·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[60] 卢,W。还有张,H(2007)比例优势模型变量选择,《医学统计学》,263771-3781。·数字对象标识:10.1002/sim.2833
[61] 麦迪根,D。还有里奇韦(2004)Efron等人讨论“最小角度回归”,统计年鉴,32465-469·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[62] 麦克拉格,P。奈尔德,J。A(1989),广义线性模型。伦敦:查普曼和霍尔·Zbl公司 744.62098
[63] 梅尔,L。和Bü赫曼,P(2007)平滑,1-高维时间过程数据的惩罚估计量。电子统计杂志,1597-615·Zbl公司 1140.62054·doi:10.1214/07-EJS103
[64] 迈尔,L.,范德格尔,S。和Bü赫曼,P(2008年)罗素回归组,《皇家统计学会杂志》,B辑,70,53-71·Zbl公司 1400.62276
〔65〕 北卡罗来纳州梅因绍森(2007)套索松弛,计算统计和数据分析,52374-393·Zbl公司 1452.62522
[66] 北卡罗来纳州梅因绍森。和Bü赫曼,P(2006)高维图和套索变量选择,《统计年鉴》,341436-1462·Zbl公司 1113.62082·doi:10.1214/009053606000000281
[67] 梅恩绍森,北,罗查,G。还有余,乙(2007年)三个表亲的故事:套索、L2Bootsing和Dantzig,《统计年鉴》,352373-2384。·doi:10.1214/009053607000000460
[68] 北卡罗来纳州梅因绍森。还有余,乙(2008)高维数据稀疏表示的套索式恢复,《统计年鉴》(出现)·Zbl公司 1155.62050·doi:10.1214/07-AOS582·www.projecteuclid.org
〔69〕 米勒,A(回归中的子集选择。查普曼和霍尔,第二版·Zbl公司 1051.62060
[70] 莫纳汉,J。F(2001年),统计数字方法。剑桥大学出版社·Zbl公司 969.65007·doi:10.1017/CBO9780511812231
[71] 奥斯本,M。R、 普雷斯内尔,B。还有图拉克,B。A(2000a)最小二乘问题中变量选择的新方法,IMA数值分析杂志,20389-403·Zbl公司 962.65036·doi:10.1093/imanum/20.3.389
[72] 奥斯本,M。R、 普雷斯内尔,B。还有图拉克,B。A(2000年b)关于套索及其对偶,《计算与图形统计杂志》,9319-337。
[73] 欧文,A(2006年)稳健回归和套索回归。从,网络。
[74] 帕克,M。是的。还有黑斯,T(2006a),glmpath:广义线性模型和比例风险模型的L1正则化路径。网址http://cran.r-project.org/src/contrib/Descriptions/glmpath.html。R包版本0.91。
[75] 帕克,M。是的。还有黑斯,T(2006b)检测基因相互作用的正则化路径算法。斯坦福大学统计系技术代表。
[76] 帕克,M.-Y。还有黑斯,T(2007)广义线性模型的l1正则化路径算法。英国皇家统计学会期刊B辑,69659-677。·doi:10.1111/j.1467-9868.2007.00607.x
[77] 洛克,E。B(1991)子集选择模型的预测误差及其估计,技术计量学,33459-468。
[78] 罗塞特,S(2005)遵循曲线正则化优化求解路径。神经信息处理系统的进展17(eds.L。K。索尔,Y。韦斯和L。博图),1153-1160年。马萨诸塞州剑桥:麻省理工学院出版社。
[79] 罗塞特,S。朱,J(2004)Efron等人讨论“最小角度回归”,统计年鉴,32469-475·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[80] 罗塞特,S。朱,J(2007)分段线性正则化解路径,《统计年鉴》,351012-1030·Zbl公司 1194.62094·doi:10.1214/009053606000000370
[81] 罗斯,V(2004)广义套索,IEEE神经网络汇刊,15,16-28。
[82] 塞加尔,M。R、 ,达尔奎斯特,K。D。还有康克林,B。R(2003)微阵列数据分析的回归方法,计算生物学杂志,10961-980。
[83] Shi,W.,Wahba,G.,Wright,S.,Lee,K.,Klein,R。还有克莱恩,B(2008)套索模式搜索算法及其在眼科和基因组数据、统计学及其接口中的应用(出现)·Zbl公司 1230.62093·doi:10.4310/SII.2008.v1.n1.a12
[84] 席尔瓦,J.,马奎斯,J。还有莱姆斯,J(2005)为稀疏流形学习选择地标点。神经信息处理系统的进展18(eds.Y。韦斯,B。附表ölkopf和J。普拉特),1241-1248年。马萨诸塞州剑桥:麻省理工学院出版社。
[85] 西米ä, T。还有提卡,J(2006)多响应回归中输入的公共子集选择。年,IEEE神经网络国际联席会议,1908-1915年。加拿大温哥华·Zbl公司 1452.62513
[86] 斯廷,R。A(2004)Efron等人讨论“最小角度回归”,统计年鉴,32475-481·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[87] 提斯特德,R。A(1988),统计计算元素。查普曼和霍尔·Zbl公司 663.62001
[88] 蒂比拉尼,R(1996)通过套索进行回归收缩和选择,《皇家统计学会杂志》,B辑,58267-288。JSTOR公司:·Zbl公司 850.62538·links.jstor.org
[89] 蒂比拉尼,R(1997)Cox模型中变量选择的套索方法,《医学统计学》,16385-395。
[90] Tibshirani,R.,桑德斯,M.,Rosset,S.,Zhu,J。还有奈特,K(2005)通过融合套索的稀疏性和光滑性,《皇家统计学会杂志》,B辑,67,91-108。JSTOR公司:·Zbl公司 1060.62049·doi:10.1111/j.1467-9868.2005.00490.x·links.jstor.org
[91] 特伦达菲洛夫,N。乔利夫,我(2007)Dlass:通过套索进行判别分析中的变量选择,计算统计和数据分析,513718-3736·Zbl公司 1161.62379·2006年12月10日
[92] 图拉克,B。A(2004)Efron等人讨论“最小角度回归”,统计年鉴,32481-490·Zbl公司 1091.62054·doi:10.1214/009053604000000067
[93] 图拉克,B。A、 韦纳布尔斯,W。N。赖特,S。J(2005)同步变量选择,技术计量学,47349-363。·doi:10.1198/004017005000000139
[94] van de Geer,S(2008)高维广义线性模型与套索,《统计年鉴》,36614-645·Zbl公司 1138.62323·doi:10.1214/00905360700000929
[95] 王,G.,杨,D.-Y。还有洛霍夫斯基(2007a)核化套索的核心路径。年,国际人工智能与统计会议。波多黎各圣胡安。
[96] 王,H。还有冷,C(2006)通过aglasso改进分组变量选择。北京大学和新加坡国立大学技术代表。
[97] 王,H。还有冷,C(2007)通过最小二乘法进行统一套索估计,美国统计协会杂志,1021039-1048·Zbl公司 1306.62167·doi:10.1198/0162145070000000509
[98] 王,H,李,G。还有蔡,C(2007b)回归系数和自回归阶数收缩与选择,皇家统计学会期刊,B系列,69,63-78。
[99] 元,M(2008)高斯图形模型中正则化解路径的有效计算。计算与图形统计杂志(出现)。
[100] 袁,M.,约瑟夫,R。还有林,Y(2007)分析设计实验的有效变量选择方法,技术计量学,49430-439。·doi:10.1198/0040170000000173
[101] 元,M。还有林,Y(2006)分组变量回归模型选择与估计,英国皇家统计学会期刊,B系列,68,49-68·Zbl公司 1141.62030·doi:10.1111/j.1467-9868.2005.00532.x
[102] 元,M。还有林,Y(2007a)高斯图形模型中的模型选择和估计,Biometrika,94,19-35·Zbl公司 1142.62408·doi:10.1093/biomet/asm018
[103] 元,M。还有林,Y(2007b)关于非负绞喉估计器,《皇家统计学会杂志》,B辑,69143-161·Zbl公司 1120.62052·doi:10.1111/j.1467-9868.2007.00581.x
[104] 张,C.-H。还有黄,J(2007)高维线性回归中套索选择的稀疏性和偏差,《统计年鉴》·Zbl公司 1142.62044·doi:10.1214/07-AOS520
[105] 张,H。还有卢,W(2007)Cox比例风险模型自适应套索,生物计量学,94691-703·Zbl公司 1135.62083·doi:10.1093/biomet/asm037
[106] Zhang,H.,Wahba,G.,Lin,Y.,Voelker,M.,Ferris,M.,Klein,R。还有克莱恩,B(2004)通过似然基追踪进行变量选择和模型构建,美国统计协会杂志,99659-672·Zbl公司 1117.62459·doi:10.1198/016214504000593·masetto.asa.catchword.org
[107号] 赵,G.G。还有余,乙(2008)通过综合绝对惩罚进行分组和分层模型选择,《统计年鉴》(出现)。
[108] 赵,P。还有余,乙(2006)关于Lasso模型选择的一致性,《机器学习研究杂志》,72541-2567·Zbl公司 1222.62008·www.jmlr.org
[109号] 赵,P。还有余,乙(2007)Stagewise Lasso,《机器学习研究杂志》,82701-2726·Zbl公司 1222.68345·www.jmlr.org
[110] Zhu,J.,Rosset,S.,Hastie,T。还有提比拉尼(2003)1范数支持向量机。神经信息处理系统的进展16,49-56。麻省理工学院出版社。NIPS 2003年会议记录。
[111] 邹,H(2006)自适应套索及其甲骨文特性,美国统计协会杂志,1011418-1429·Zbl公司 1171.62326·doi:10.1198/0162145060000735
[112] 邹,H。还有黑斯,T(2005a),弹性网络:弹性网络正则化和变量选择。R包版本1.0-3·Zbl公司 1069.62054
[113] 邹,H。还有黑斯,T(2005b)通过弹性网络进行正则化和变量选择,皇家统计学会杂志,B系列,67301-320。JSTOR公司:·Zbl公司 1069.62054·doi:10.1111/j.1467-9868.2005.00503.x·links.jstor.org
[114] 邹,H.,黑斯蒂,T。还有提比拉尼(2006)稀疏主成分分析,《计算与图形统计杂志》,15265-286。·数字标识码:10.1198/106186006X113430
[115] 邹,H.,黑斯蒂,T。还有提比拉尼(2007)关于套索的“自由度”,《统计年鉴》,352173-2192·Zbl公司 1126.62061·doi:10.1214/00905360700000127·欧几里得:aos/1194461726
[116] 邹,H。李,R(2008)一步稀疏估计在非CAVE惩罚似然模型,,《统计年鉴》(出现)·Zbl公司 1282.62112·doi:10.1214/00905360700000802
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。