×
Eitan Greenshtein

最优子集选择、高维统计学习中的持久性以及在l_1约束下的优化。 （英语） Zbl 1106.62022号

Ann.统计。 34，第5期，2367-2386（2006）.
小结：设（（Y，X_1，\dots，X_m）为随机向量。希望根据（（X_1，点，X_m））预测（Y）。预测方法的示例有回归、使用逻辑回归进行分类或分离超平面等。
我们考虑最佳子集选择问题，并在上下文中研究它，其中，（n）是观察数。我们研究基于经验风险最小化的程序。结果表明，在一般情况下，我们应该在大小为（o（n/\log（n）））的子集中寻找最佳子集。还表明，在某种“渐近意义上”，当假定某个稀疏条件时，让（m）远大于（n）不会有损失，例如，（m=n ^ alpha），（alpha>1）。这与从小于\（n\）且不考虑\（\alpha\）值的“最佳”子集开始相比。
然后，我们研究了受（l_1）约束的经验风险最小化产生几乎最佳子集的条件。这些结果扩展了作者和Y.里托夫[伯努利10，第6期，971–988（2004年；Zbl 1055.62078号)]. 最后，我们对“boosting类型”分类过程进行了高维仿真研究。

引用于41文件

MSC公司：

62F07型 统计排名和选择程序
62C99个 统计决策理论

关键词：

拉索程序

引文：

Zbl 1055.62078号

软件：

PDCO公司
PDF格式BibTeX公司 XML格式引用
\textit{E.Greenshtein}，Ann.Stat.34，No.5，2367--2386（2006；Zbl 1106.62022）
全文： 内政部 arXiv公司

参考文献：

[1] Bickel，P.和Levina，E.（2004）。Fisher线性判别函数的一些理论，“朴素贝叶斯”，以及一些变量比观测值多的替代方法。伯努利10 989–1010·Zbl 1064.62073号 ·doi:10.3150/bj/1106314847
[2] Breiman，L.（2001）。统计建模：两种文化（带讨论）。统计师。科学。16 199–231. ·Zbl 1059.62505号 ·doi:10.1214/ss/1009213726
[3] Breiman，L.（2004）。用于增强集合的人口理论。Ann.Statist公司。32 1–11. ·Zbl 1105.62308号 ·doi:10.1214/aos/1079120126
[4] Bühlmann，P.和Bin，Y.（2004）。讨论助学论文。Ann.Statist公司。32 96–101. ·Zbl 1105.62310号
[5] Chen，S.、Donoho，D.和Saunders，M.（2001）。通过基追踪进行原子分解。SIAM版本43 129–159。JSTOR公司：·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X
[6] Donoho，D.（2004）。对于大多数大型欠定线性方程组的极小（l^1）范数解也是最稀疏解。斯坦福大学统计系2004-2009年技术报告·Zbl 1113.15004号
[7] Donoho，D.（2004）。对于大多数大型待定方程组，最小范数近解逼近最稀疏的近解。《2004-10年技术报告》，斯坦福大学统计学系。
[8] Efron，B.、Johnstone，I.、Hastie，T.和Tibshirani，R.（2004）。最小角度回归（讨论）。Ann.Statist公司。32 407–499·Zbl 1091.62054号 ·doi:10.1214/009053604000000067
[9] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348–1360。JSTOR公司：·Zbl 1073.62547号 ·doi:10.1198/016214501753382273
[10] Fan，J.和Peng，H.（2004）。具有发散参数数的非凹陷惩罚似然。Ann.Statist公司。32 928–961. ·Zbl 1092.62031号 ·doi:10.1214/009053604000000256
[11] Friedman，J.、Hastie，T.、Rosset，S.、Tibshirani，R.和Zhu，J.（2004）。讨论助学论文。Ann.Statist公司。32 102–107. ·Zbl 1105.62314号
[12] Greenshtein，E.（2005）。预测、模型选择和随机维数惩罚。Sankhyá67 46–73岁·Zbl 1192.62165号
[13] Greenshtein，E.和Ritov，Y.（2004）。高维预测因子选择的持续性和超参数化的优点。伯努利10 971–988·Zbl 1055.62078号 ·doi:10.3150/bj/1106314846
[14] Hastie，T.、Tibshirani，R.和Friedman，J.（2001）。统计学习的要素。数据挖掘、干预和预测。纽约州施普林格·Zbl 0973.62007号
[15] Huber，P.（1973）。稳健回归：渐近、猜想和蒙特卡罗。Ann.Statist公司。1 799–821. ·Zbl 0289.62033号 ·doi:10.1214/aos/1176342503
[16] Juditsky，A.和Nemirovski，A.（2000）。非参数回归的函数聚集。Ann.Statist公司。28 681–712. ·Zbl 1105.62338号 ·doi:10.1214/aos/1015951994
[17] Lee，W.S.、Bartlett，P.L.和Williamson，R.C.（1996）。有界扇入神经网络的有效不可知学习。IEEE Trans。通知。理论42 2118–2132·Zbl 0874.68253号 ·doi:10.1109/18.556601
[18] Lugosi，G.和Vayatis，N.（2004年）。正则化boosting方法的Bayes-risk一致性。Ann.Statist公司。32 30–55. ·兹比尔1105.62319 ·doi:10.1214/aos/1079120129
[19] Meinshausen，N.和Bühlmann，P.（2006）。用拉索选择高维图和变量。Ann.Statist公司。34 1436–1462. ·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[20] Nemirovski，A.和Yudin，D.（1983年）。优化中的问题复杂性和方法效率。纽约威利·Zbl 0501.90062号
[21] Nguyen，D.V.、Arpat，A.B.、Wang，N.和Carroll，R.J.（2002）。DNA微阵列实验：生物学和技术方面。生物统计学58 701–717。JSTOR公司：·Zbl 1210.62197号 ·doi:10.1111/j.0006-341X.2002.00701.x
[22] Pisier，G.（1981年）。非公共场所B.Maurey苏丹重新认证。在Seminaire d’Analyse Fonctionelle 112中。巴黎埃科尔理工学院·兹伯利0491.46017
[23] Portnoy，S.（1984）。（p^2/n）大时回归参数M-估计的渐近性I.相合性。Ann.Statist公司。12 1298–1309. ·Zbl 0584.62050号 ·doi:10.1214/aos/1176346793
[24] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58 267–288。JSTOR公司：·Zbl 0850.62538号
[25] Vapnik，N.V.（1998年）。统计学习理论。纽约威利·Zbl 0935.62007号
[26] 尤海（Yohai，V.J.）和玛丽娜（Maronna，R.A.）（1979年）。线性模型M-估计的渐近行为。Ann.Statist公司。7 258–268. ·Zbl 0408.62027号 ·doi:10.1214/aos/1176344610
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。