蒂姆·海斯特伯格;南熙县Choi;卢卡斯·迈耶;克里斯·弗雷利 最小角度和\（\ell_｛1｝\）惩罚回归：综述。 （英语） 兹比尔1189.62070 统计调查。 2, 61-93 (2008). 小结：最小角度回归是一种很有前途的变量选择应用技术，为逐步回归提供了一种很好的替代方法。它解释了LASSO（惩罚回归）和正向分段回归的类似行为，并提供了两者的快速实现。这个想法迅速流行起来，并引发了大量研究兴趣。本文综述了最小角回归及其相关研究的现状。 引用于32文件 MSC公司： 62G08号 非参数回归和分位数回归 65C60个 统计学中的计算问题（MSC2010） 62J99型 线性推理、回归 62J07型 山脊回归；收缩估计器（拉索） 关键词：套索;回归;正规化;\（\ell\）_1罚款;变量选择 软件：拉索2;PDCO公司;ElemStatLearn（电子状态学习）;格林帕斯;弹性网;玻璃制品;CHOMPACK公司;拉索 PDF格式BibTeX公司 XML格式引用 \textit{T.Hesterberg}等人，Stat.Surv。2、61-93（2008年；Zbl 1189.62070） 全文： 内政部 arXiv公司 参考文献： [1] Adams，J.L.（1990）评估回归策略的计算机实验。在，《统计计算科学报》，55-62。美国统计协会。 [2] Avalos，M.、Grandvalen，Y.和Ambroise，C.（2007）简约加法模型。，计算统计与数据分析，51，2851-2870·Zbl 1161.62354号 ·doi:10.1016/j.csda.2006.10.007 [3] Bakin，S.（1999），数据挖掘问题中的自适应回归和模型选择。澳大利亚国立大学博士论文。 [4] Balakrishnan，S.和Madigan，D.（2007）发现预测性跑步圈数。，国际机器学习会议（ICML），415-420。 [5] Banerjee，O.、El Ghaoui，L.和d'Aspremont，A.（2008）通过多元高斯或二进制数据的稀疏最大似然估计进行模型选择。，机器学习研究杂志。（出现）·Zbl 1225.68149号 [6] Breiman，L.（1995）使用非负garrote进行更好的子集回归。，技术计量学，37，373-384。JSTOR公司：·Zbl 0862.62059号 ·doi:10.2307/1269730 [7] Bühlmann，P.和Meier，L.（2008）关于H.Zou和R.Li.《统计年鉴》中“非协方差惩罚似然模型中的一步稀疏估计”的讨论。（出现）·Zbl 1282.62096号 [8] Bühlmann，P.和Yu，B.（2006）稀疏增强。，《机器学习研究杂志》，71010-1024·Zbl 1222.68155号 [9] Bunea，F.、Tsybakov，A.和Wegkamp，M.H.（2007）Lasso的稀疏预言不等式。，电子统计杂志，1169-194·Zbl 1146.62028号 ·doi:10.1214/07-EJS008 [10] Candes，E.和Tao，T.（2007）Dantzig选择器：当p远大于n时的统计估计。《统计年鉴》，35，2313-2351·Zbl 1139.62019号 ·doi:10.1214/00905360000001523 [11] Candes，E.J.、Wakin，M.和Boyd，S.（2007）通过加权L1最小化增强稀疏性。加州理工学院技术代表。 [12] Chen，S.、Donoho，D.和Saunders，M.（1998）《基追踪的原子分解》。，SIAM科学计算杂志，20，33-61·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [13] Choi，N.H.和Zhu，J.（2006）强遗传/边缘约束的变量选择。密歇根大学统计系技术代表。 [14] Dahl，J.，Vandenberghe，L.和Roychowdhury，V.（2008）通过弦嵌入的非弦图协方差选择。，优化方法和软件。（出现）·Zbl 1151.90514号 [15] Draper，N.R.和Smith，H.（1998），应用回归分析。Wiley，第三版·Zbl 0895.62073号 [16] Efron，B.和Hastie，T.（2003），R和Splus的LARS软件。http://www-stat.stanford.edu/hastie/Papers/LARS。 [17] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）最小角度回归。，统计年鉴，32407-451·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [18] Efron，B.、Hastie，T.和Tibshirani，R.（2007）E.Candes和T.Tan.关于“Dantzig选择器”的讨论。，《统计年鉴》，35，2358-2364·doi:10.1214/009053607000000433 [19] Efroymson，M.A.（1960）多元回归分析。年，《数字计算机的数学方法》（编辑A.Ralston和H.S.Wilf），第1卷，191-203年。威利。 [20] Fan，J.和Li，R.（2001）通过无条件惩罚似然及其预言性质进行变量选择。，美国统计协会杂志，96，1348-1360。JSTOR公司：·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [21] Fraley，C.和Hesterberg，T.（2007）大数据集的最小角回归和Lasso。技术代表，Insightful，Corporation。 [22] Frank，I.E.和Friedman，J.H.（1993）一些化学计量学回归工具的统计观点及讨论。，技术计量学，35，109-148·Zbl 0775.62288号 ·doi:10.2307/1269656 [23] Freund，Y.和Schapire，R.E.（1997）在线学习的决策理论概括及其在助推中的应用。，《计算机与系统科学杂志》，55119-139·Zbl 0880.68103号 ·doi:10.1006/jcss.1997.1504 [24] Friedman，J.（2006）《Herding lambdas:惩罚回归和分类的快速算法》。，手稿。 [25] Friedman，J.H.（1991）多变量自适应回归样条。，统计年鉴，19，1-67·兹比尔0765.62064 ·doi:10.1214/aos/1176347963 [26] Friedman，J.H.、Hastie，T.、Höfling，H.和Tibshirani，R.（2007a）路径坐标优化。，应用统计年鉴，1，302-332·Zbl 1378.90064号 ·doi:10.1214/07-AOAS131 [27] Friedman，J.H.、Hastie，T.和Tibshirani，R.（2007b）用图形套索进行稀疏逆协方差估计。，生物统计学。（2007年12月12日在线发布）·Zbl 1143.62076号 [28] Fu，W.（1998）《惩罚回归：桥梁与套索》。，计算与图形统计杂志，7397-416。JSTOR公司：·数字对象标识代码：10.2307/1390712 [29] Fu，W.（2000），S-PLUS包brdgrun，用于具有桥接惩罚的收缩估计器。http://lib.stat.cmu.edu/S/brdgrun.shar。 [30] Furnival，G.M.和Wilson，Jr.，R.W.（1974）《跨越式回归》。，技术计量学，16，499-511·兹比尔0294.62079 ·doi:10.2307/1267601 [31] Gao，H.-Y.（1998）基于非负garrote的小波收缩去噪。，计算与图形统计杂志，7469-488。JSTOR公司：·doi:10.2307/1390677 [32] Genkin，A.、Lewis，D.D.和Madigan，D.（2007）文本分类的大尺度贝叶斯逻辑回归。，技术计量学，49，291-304·doi:10.1198/004017000000245 [33] Ghosh，S.（2007）《自适应弹性网：实现预言性能的弹性网改进》。印第安纳大学-普渡大学数学科学系技术代表，印第安纳波利斯。 [34] Greenshtein，E.和Ritov，Y.（2004）高维线性预测因子选择的持续性和过参数化的优点。，伯努利，10971-988·兹比尔1055.62078 ·doi:10.3150/bj/1106314846 [35] Gui，J.和Li，H.（2005）高维和低样本设置下的惩罚Cox回归分析，以及微阵列基因表达数据的应用。，生物信息学，213001-3008。 [36] Guigue，V.、Rakotomamonjy，A.和Canu，S.（2006）《内核基础追求》。，《情报评论》，第20757-774页。 [37] Gunn，S.R.和Kandola，J.S.（2002）《稀疏核结构建模》。，机器学习，10581-591·兹比尔0998.68119 [38] Hamada，M.和Wu，C.（1992）复杂混叠设计实验分析。，《质量技术杂志》，24，130-137。 [39] Hastie，T.、Rosset，S.、Tibshirani，R.和Zhu，J.（2004）支持向量机的整个正则化路径。，机器学习研究杂志，5，1391-1415。3/5/04. ·Zbl 1222.68213号 [40] Hastie，T.、Taylor，J.、Tibshirani，R.和Walther，G.（2007）《正向阶段回归和单调套索》。，电子统计杂志，1，1-29·Zbl 1306.62176号 ·doi:10.1214/07-EJS004 [41] Hastie，T.、Tibshirani，R.和Friedman，J.（2001），《统计学习的要素：数据挖掘、推断和预测》。斯普林格·弗拉格·Zbl 0973.62007号 [42] Hesterberg，T.和Fraley，C.（2006a）最小角度回归。向NIH提出的建议，http://www.insightful.com/lars。 [43] Hesterberg，T.和Fraley，C.（2006b）S-PLUS和R包，用于最小角度回归。年，《美国统计协会会刊》，统计计算部分[CD-ROM]，2054-2061。弗吉尼亚州亚历山大市：美国统计协会。 [44] Huang，J.，Ma，S.和Zhang，C.-H.（2008）稀疏高维回归模型的自适应拉索。，中国统计局。（出现）·Zbl 1255.62198号 [45] Hurvich，C.M.和Tsai，C.L.（1990）线性回归中模型选择对推理的影响。，美国统计学家，44，214-217。 [46] 深入分析（2006），GLARS:R和S-PLUS的广义最小角回归软件。http://www.insightful.com/lars。 [47] Ishwaran，H.（2004）Efron等人关于“最小角回归”的讨论，《统计年鉴》，第32期，第452-458页·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [48] Jolliffe，I.、Trendafilov，N.和Uddin，M.（2003）基于LASSO的改进主成分技术。，计算与图形统计杂志，12531-547。JSTOR公司：·doi:10.1198/1061860032148 [49] Keerthi，S.和Shevade，S.（2007）广义lars/lasso的快速跟踪算法。，IEEE神经网络汇刊，1826-1830。 [50] Khan，J.A.、Van Aelst，S.和Zamar，R.H.（2007）基于最小角度回归的稳健线性模型选择。，美国统计协会杂志，1021289-1299·Zbl 1332.62240号 ·doi:10.1198/0162145000000050 [51] Kim，J.、Kim，Y.和Kim，Y（2005a），glasso:R Gradient LASSO算法包。http://idea.snu.ac.kr/Research/glassojskim/glaso.htm。R包版本0.9，http://idea.snu.ac.kr/Research/glassojskim/glaso.htm。 [52] Kim，J.、Kim，Y.和Kim，Y（2005b）梯度LASSO算法。技术报告，首尔国立大学·Zbl 1134.62046号 [53] Kim，Y.、Kim，J.和Kim，Y.（2006）分段稀疏回归。，中国统计局，16，375-390·Zbl 1096.62076号 [54] K.K.奈特（2004）《Efron等人关于“最小角度回归”的讨论》，《统计年鉴》，第32期，第458-460页·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [55] Leng，C.、Lin，Y.和Wahba，G.（2006）关于LASSO和模型选择相关程序的说明。，《中国统计》，第16期，1273-1284页·Zbl 1109.62056号 [56] Lin，Y.和Zhang，H.（2006）多元非参数回归中的成分选择和平滑。，《统计年鉴》，34，2272-2297·Zbl 1106.62041号 ·doi:10.1214/0090536000000722 [57] Lokhorst，J.（1999）《LASSO和广义线性模型》。澳大利亚阿德莱德大学荣誉项目。 [58] Lokhorst，J.、Venables，B.和Turlach，B.（1999），Lasso2：L1约束估计例程。http://www.maths.uwa.edu.au/berwin/software/lasso.html。 [59] Loubes，J.和Massart，P.（2004）Efron等人关于“最小角度回归”的讨论，《统计年鉴》，32460-465·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [60] Lu，W.和Zhang，H.（2007）比例优势模型的变量选择。，医学统计学，26，3771-3781·数字对象标识代码：10.1002/sim.2833 [61] Madigan，D.和Ridgeway，G.（2004）Efron等人关于“最小角度回归”的讨论，《统计年鉴》，第32期，第465-469页·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [62] McCullagh，P.和Nelder，J.A.（1989），广义线性模型。伦敦：查普曼和霍尔·Zbl 0744.62098号 [63] Meier，L.和Bühlmann，P.（2007）高维时程数据的平滑1惩罚估计量。《电子统计杂志》，1597-615·Zbl 1140.62054号 ·doi:10.1214/07-EJS103 [64] Meier，L.、van de Geer，S.和Bühlmann，P.（2008）logistic回归的组套索。，英国皇家统计学会杂志，B辑，70，53-71·Zbl 1400.62276号 [65] Meinshausen，N.（2007）《放松拉索》。，计算统计与数据分析，52，374-393·Zbl 1452.62522号 [66] Meinshausen，N.和Bühlmann，P.（2006）高维图和套索变量选择。，《统计年鉴》，341436-1462·Zbl 1113.62082号 ·doi:10.1214/0090536000000281 [67] Meinshausen，N.、Rocha，G.和Yu，B.（2007）关于三个表亲的故事：Lasso、L2Boosting和Dantzig。，《统计年鉴》，35，2373-2384·doi:10.1214/009053607000000460 [68] Meinshausen，N.和Yu，B.（2008）高维数据稀疏表示的Lasso型恢复。，统计年鉴。（出现）·Zbl 1155.62050号 ·doi:10.1214/07-AOS582 [69] Miller，A.（2002），《回归中的子集选择》。查普曼和霍尔，第二版·Zbl 1051.62060号 [70] Monahan，J.F.（2001），《统计数字方法》。剑桥大学出版社·Zbl 0969.65007号 ·doi:10.1017/CBO9780511812231 [71] Osborne，M.R.，Presnell，B.和Turlach，B.A.（2000a）最小二乘问题中变量选择的新方法。，IMA数值分析杂志，20389-403·Zbl 0962.65036号 ·doi:10.1093/imanum/20.3.89 [72] Osborne，M.R.、Presnell，B.和Turlach，B.A.（2000b）关于LASSO及其对偶。，计算与图形统计杂志，9，319-337。 [73] Owen，A.（2006）套索回归和岭回归的稳健混合。来自，web。 [74] Park，M.Y.和Hastie，T.（2006a），glmpath：广义线性模型和比例危险模型的L1正则化路径。统一资源定位地址http://cran.r-project.org/src/contrib/Descriptions/glmpath.html。R包版本0.91。 [75] Park，M.Y.和Hastie，T.（2006b）检测基因相互作用的正则化路径算法。斯坦福大学统计系技术代表。 [76] Park，M.-Y.和Hastie，T.（2007）广义线性模型的An，L1正则路径算法。英国皇家统计学会期刊B辑，69，659-677·文件编号：10.1111/j.1467-9868.2007.00607.x [77] Roecker，E.B.（1991）子选择模型的预测误差及其估计。，技术计量学，33，459-468。 [78] Rosset，S.（2005）遵循曲线正则化优化解路径。年，《神经信息处理系统进展》17（编辑：L.K.Saul、Y.Weiss和L.Bottou），1153-1160。马萨诸塞州剑桥：麻省理工学院出版社。 [79] Rosset，S.和Zhu，J.（2004）Efron等人关于“最小角回归”的讨论，《统计年鉴》，32，469-475·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [80] Rosset，S.和Zhu，J.（2007）分段线性正则解路径。，《统计年鉴》，第35期，第1012-1030页·Zbl 1194.62094号 ·doi:10.1214/0090536000001370 [81] Roth，V.（2004）广义LASSO。，IEEE神经网络汇刊，15，16-28。 [82] Segal，M.R.、Dahlquist，K.D.和Conklin，B.R.（2003）微阵列数据分析的回归方法。，计算生物学杂志，10961-980。 [83] Shi，W.，Wahba，G.，Wright，S.，Lee，K.，Klein，R.和Klein（2008）Lasso-patternsearch算法及其在眼科和基因组数据中的应用。，统计及其接口。（出现）·Zbl 1230.62093号 ·doi:10.4310/SII.2008.v1.n1.a12 [84] Silva，J.、Marques，J.和Lemos，J..（2005）为稀疏流形学习选择里程碑点。年，《神经信息处理系统进展》18（编辑：Y.Weiss、B.Schölkopf和J.Platt），1241-1248。马萨诸塞州剑桥：麻省理工学院出版社。 [85] Similä，T.和Tikka，J.（2006）多响应回归中输入的公共子集选择。年，IEEE国际神经网络联合会议，1908-1915年。加拿大温哥华·Zbl 1452.62513号 [86] Stine，R.A.（2004）Efron等人关于“最小角回归”的讨论，《统计年鉴》，第32期，第475-481页·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [87] Thisted，R.A.（1988），《统计计算要素》。查普曼和霍尔·Zbl 0663.62001号 [88] Tibshirani，R.（1996）通过套索进行回归收缩和选择。，英国皇家统计学会杂志，B辑，58267-288。JSTOR公司：·Zbl 0850.62538号 [89] Tibshirani，R.（1997）Cox模型中变量选择的套索方法。，医学统计学，16385-395。 [90] Tibshirani，R.、Saunders，M.、Rosset，S.、Zhu，J.和Knight，K.（2005）通过融合套索的稀疏性和光滑性。，英国皇家统计学会杂志，B辑，67，91-108。JSTOR公司：·Zbl 1060.62049号 ·文件编号：10.1111/j.1467-9868.2005.00490.x [91] Trendafilov，N.和Joilliffe，I.（2007）《类：通过套索进行判别分析的变量选择》。，计算统计与数据分析，51，3718-3736·Zbl 1161.62379号 ·doi:10.1016/j.csda.2006.12.046 [92] Turlach，B.A.（2004）Efron等人关于“最小角回归”的讨论，《统计年鉴》，32，481-490·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [93] Turlach，B.A.、Venables，W.N.和Wright，S.J.（2005）《同时变量选择》。，技术计量学，47349-363·doi:10.1198/004017005000000139 [94] van de Geer，S.（2008）高维广义线性模型和套索。，统计年鉴，36614-645·Zbl 1138.62323号 ·doi:10.1214/00905360700000929 [95] Wang，G.，Yeung，D.-Y.和Lochovsky，F.（2007a）核化LASSO中的核路径。年，国际人工智能与统计会议。波多黎各圣胡安。 [96] Wang，H.和Leng，C.（2006）通过aglasso改进分组变量选择。北京大学和新加坡国立大学技术代表。 [97] Wang，H.和Leng，C.（2007）通过最小二乘近似的统一LASSO估计。，美国统计协会杂志，1021039-1048·Zbl 1306.62167号 ·doi:10.1198/0162145000000509 [98] Wang，H.，Li，G.和Tsai，C.（2007b）回归系数和自回归阶数收缩与套索选择。，英国皇家统计学会杂志，B辑，69，63-78。 [99] Yuan，M.（2008）高斯图形模型中，ell 1正则解路径的有效计算。计算与图形统计杂志。（出现）。 [100] Yuan，M.、Joseph，R.和Lin，Y.（2007）分析设计实验的有效变量选择方法。，技术计量学，49，430-439·doi:10.1198/004017000000173 [101] Yuan，M.和Lin，Y.（2006）分组变量回归中的模型选择和估计。，英国皇家统计学会杂志，B辑，68，49-68·Zbl 1141.62030号 ·doi:10.1111/j.1467-9868.2005302.x [102] Yuan，M.和Lin，Y.（2007a）高斯图形模型中的模型选择和估计。，生物特征，94，19-35·Zbl 1142.62408号 ·doi:10.1093/biomet/asm018 [103] Yuan，M.和Lin，Y.（2007b）关于非负garrote估计。，英国皇家统计学会期刊，B辑，69143-161·Zbl 1120.62052号 ·文件编号：10.1111/j.1467-9868.2007.00581.x [104] Zhang，C.-H.和Huang，J.（2007）高维线性回归中套索选择的稀疏性和偏差。，统计年鉴·Zbl 1142.62044号 ·doi:10.1214/07-AOS520 [105] Zhang，H.和Lu，W.（2007）Cox比例风险模型的自适应拉索。，《生物统计学》，94691-703·Zbl 1135.62083号 ·doi:10.1093/biomet/asm037 [106] Zhang，H.，Wahba，G.，Lin，Y.，Voelker，M.，Ferris。，美国统计协会杂志，99，659-672·Zbl 1117.62459号 ·doi:10.1198/016214500000593 [107] Zhao，P.、Rocha，G.和Yu，B.（2008）通过复合绝对处罚进行分组和分层模型选择。，统计年鉴。（出现）。 [108] Zhao，P.和Yu，B.（2006）关于Lasso.的模型选择一致性。，机器学习研究杂志，72541-2567·Zbl 1222.62008年 [109] Zhao，P.和Yu，B.（2007）舞台套索。，《机器学习研究杂志》，827012726·Zbl 1222.68345号 [110] Zhu，J.，Rosset，S.，Hastie，T.和Tibshirani，R.（2003）1-范数支持向量机。年，《神经信息处理系统进展》16，49-56。麻省理工学院出版社。NIPS 2003年会议记录。 [111] Zou，H.（2006）自适应Lasso及其oracle属性。，美国统计协会杂志，1011418-1429·Zbl 1171.62326号 ·doi:10.19198/016214506000000735 [112] Zou，H.和Hastie，T.（2005a），弹性网：弹性网正则化和变量选择。R包版本1.0-3·Zbl 1069.62054号 [113] Zou，H.和Hastie，T.（2005b）通过弹性网的正则化和变量选择。，英国皇家统计学会杂志，B辑，67301-320。JSTOR公司：·Zbl 1069.62054号 ·文件编号：10.1111/j.1467-9868.2005.005.x [114] Zou，H.、Hastie，T.和Tibshirani，R.（2006）稀疏主成分分析。，计算与图形统计杂志，15，265-286·doi:10.1198/106186006X113430 [115] Zou，H.、Hastie，T.和Tibshirani，R.（2007）《论拉索的“自由度”》。，《统计年鉴》，352173-2192·Zbl 1126.62061号 ·doi:10.1214/009053600700000127 [116] Zou，H.和Li，R.（2008）非冲突惩罚似然模型中的一步稀疏估计。，统计年鉴。（出现）·兹比尔1282.62112 ·doi:10.1214/0090536007000000802 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。