×
罗塞特，萨哈隆;朱，季

分段线性正则解路径。 （英语） Zbl 1194.62094号

Ann.统计。 35，第3期，1012-1030（2007）.
摘要：我们考虑了一般正则优化问题（\widehat{\beta}（\lambda）=\arg\min_\betaL（y，X\beta）+\lambdaJ（\beta\））。B.Efron、T.Hastie、I.Johnstone和R.蒂比拉尼【Ann.Stat.32，No.2，407–499（2004年；Zbl 1091.62054号)]已经证明，对于LASSO，即，如果（L）是平方误差损失，并且（J（β）=（β）是（β）的范数，则最佳系数路径是分段线性的，也就是说，（partial\widehat{\beta}（lambda）/\partial\ lambda\）是分段常数。我们导出了给出分段线性系数路径的（损失（L），惩罚（J））对的性质的一般特征。这样的对可以有效地生成完全正则化的系数路径。我们研究出现的有效路径跟踪算法的性质。我们使用我们的结果建议用于回归和分类的LASSO的稳健版本，并针对文献中的现有问题开发新的有效算法，包括Mammen和van de Geer的局部自适应回归样条。

引用于83文件

MSC公司：

62J99型 线性推断、回归
65C60个 统计中的计算问题（MSC2010）
90 C90 数学规划的应用
62H30型 分类和区分；聚类分析（统计方面）

关键词：

多项式样条;正规化;解决方案路径;稀疏;总变化量

引文：

Zbl 1091.62054号

软件：

ftnonpar公司;电子静态学习
PDF格式BibTeX公司 XML格式引用
\textit{S.Rosset}和\textit{J.Zhu}，Ann.Stat.35，No.3，1012--1030（2007；Zbl 1194.62094）
全文： 内政部 arXiv公司

参考文献：

[1] Davies，P.L.和Kovac，A.（2001）。局部极值、运行、字符串和多分辨率（带讨论）。安。统计师。29 1–65. ·Zbl 1029.62038号 ·doi:10.1214/aos/996986501
[2] Donoho，D.、Johnstone，I.、Kerkyacharian，G.和Picard，D.（1995）。小波收缩：渐近？（经过讨论）。J.罗伊。统计师。Soc.序列号。B 57 301–369。JSTOR公司：·Zbl 0827.62035号
[3] Efron，B.、Hastie，T.、Johnstone，I.M.和Tibshirani，R.（2004）。最小角度回归（讨论）。安。统计师。32 407–499. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[4] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348–1360。JSTOR公司：·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[5] Fan，J.和Peng，H.（2004）。具有发散参数数的非凹陷惩罚似然。安。统计师。32 928–961. ·Zbl 1092.62031号 ·doi:10.1214/009053604000000256
[6] Freund，Y.和Schapire，R.E.（1996）。实验一种新的boosting算法。程序中。第十三届国际机器学习会议148–156。旧金山摩根考夫曼。
[7] Hastie，T.、Rosset，S.、Tibshirani，R.和Zhu，J.（2004）。支持向量机的整个正则化路径。J.马赫。学习。第5号决议1391-1415·Zbl 1222.68213号
[8] Hastie，T.、Tibshirani，R.和Friedman，J.（2001）。统计学习的要素：数据挖掘、推理和预测。施普林格，纽约·Zbl 0973.62007号
[9] Hoerl，A.和Kennard，R.（1970年）。岭回归：非正交问题的有偏估计。技术计量12 55–67·Zbl 0202.17205号 ·数字对象标识代码：10.2307/1267351
[10] Huber，P.（1964年）。位置参数的稳健估计。安。数学。统计师。35 73–101·兹伯利0136.39805 ·doi:10.1214/aoms/1177703732
[11] Koenker，R.（2005）。分位数回归。剑桥大学出版社·Zbl 1111.62037号
[12] Koenker，R.、Ng，P.和Portnoy，S.（1994年）。分位数平滑样条线。生物特征81 673–680。JSTOR公司：·Zbl 0810.62040 ·doi:10.1093/biomet/81.4.673
[13] Mammen，E.和van de Geer，S.（1997年）。局部自适应回归样条。安。统计师。25 387–413. ·Zbl 0871.62040号 ·doi:10.1214/aos/1034276635
[14] Osborne，M.、Presnell，B.和Turlach，B.（2000）。关于LASSO及其对偶。J.计算。图表。统计师。9 319–337. JSTOR公司：·数字对象标识代码：10.2307/1390657
[15] Rosset，S.、Zhu，J.和Hastie，T.（2004）。作为一条正则化路径，提升到最大边缘分类器。J.马赫。学习。第5 941–973号决议·Zbl 1222.68290号
[16] Shen，X.、Tseng，G.、Zhang，X.和Wong，W.H.（2003）。打开\（\psi\）-学习。J.Amer。统计师。协会98 724–734·Zbl 1052.62095号 ·doi:10.1198/0162145000000639
[17] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58 267–288。JSTOR公司：·Zbl 0850.62538号
[18] Tibshirani，R.、Saunders，M.、Rosset，S.、Zhu，J.和K.奈特（2005）。通过融合套索实现轻盈流畅。J.R.统计社会服务。B统计方法。67 91–108. ·Zbl 1060.62049号 ·文件编号：10.1111/j.1467-9868.2005.00490.x
[19] Tsuda，K.和Ratsch，G.（2005年）。通过线性规划进行图像重建。IEEE传输。图像处理。14 737–744.
[20] Vapnik，V.（1995）。统计学习理论的本质。施普林格，纽约·Zbl 0833.62008号
[21] 朱，J.，罗塞特。S.、Hastie，T.和Tibshirani，R.（2003年）。1-范数支持向量机。神经信息处理系统进展16。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。