Eitan Greenshtein；亚亚科夫·里托夫 坚持高维线性预测因子选择和超参数化的优点。 （英语） Zbl 1055.62078号 伯努利 第10期，第6期，971-988（2004）. 摘要：设\（Z^i=（Y^i，X_1^i，\dots，X^i_m）\），\（i=1，\dotes，n\），为独立且同分布的随机向量，\（Z_i\sim F\），_（F\ in{\mathcal F}\）。需要通过（sum\beta_jX_j）来预测（Y），其中在预测损失下，在B^n\substeq\mathbb{R}^m中为（（beta_1，dots，beta_m）。假设\（m=n^\alpha\），\（\alpha>1\），也就是说，解释变量比观察值多很多。我们考虑集（B^n）受其成员的最大非零系数数或其I_1半径的限制。我们研究了以下渐近问题：集合（B^n）可能有多大，因此仍然有可能从经验上选择一个在（F）下风险接近集合中最佳预测值的预测值？在（{mathcal F}）上的各种假设下，给出了数量级的精确界。还研究了后续程序的算法复杂性。本文的主要信息和推导出的阶数的含义是，在对最优预测器的各种稀疏性假设下，引入比观测值更多的解释变量“渐近无害”。此外，与预先筛选解释变量的一小部分的程序相比，这种做法可能是有益的。另一个主要结果是，“套索”程序，即在（l_1）约束下的优化，可以有效地在高维中找到最优稀疏预测因子。 引用于2评论引用于104文件 MSC公司： 62小时99 多元分析 62A01型 统计学基础和哲学主题 62层30 约束条件下的参数化推理 关键词：一致性；套索；回归，回归；变量选择 软件：PDCO公司 PDF格式BibTeX公司 XML格式引用 \textit{E.Greenshtein}和textit{Y.Ritov}，伯努利10，第6期，971-988（2004；Zbl 1055.62078） 全文： 内政部 参考文献： [1] Bickel，P.和Levina，E.（2004）Fisher-si线性判别函数的一些理论，“朴素贝叶斯”，以及变量多于观测值的一些替代方法。伯努利，1989年至2010年10月·Zbl 1064.62073号 ·doi:10.3150/bj/1106314847 [2] Billingsley，P.（1995）概率与测度。（第三版）。纽约：Wiley·Zbl 0822.60002号 [3] Breiman，L.（2001）统计建模：两种文化。统计师。科学。，16, 199-231. 也可以在ISI/STMA出版物URL中找到摘要：·Zbl 1059.62505号 ·doi:10.1214/ss/1009213726 [4] Breiman，L.和Freedman，D.（1983）回归方程中应输入多少变量？J.Amer。统计师。协会，78，131-136。JSTOR公司：·Zbl 0513.62068号 ·doi:10.2307/2287119 [5] Chen，S.、Donoho，D.和Saunders，M.（2001）《基追踪的原子分解》。SIAM版本，43，129-159。JSTOR公司：·Zbl 0979.94010号 ·doi:10.1137/S003614450037906X [6] Donoho，D.L.和Johnstone，I.M.（1994）通过小波收缩实现理想的空间自适应。《生物特征》，81，425-455。在ISI/STMA出版物URL:JSTOR:links.JSTOR.org中也可以找到摘要·Zbl 0815.62019号 ·doi:10.1093/生物技术/81.3425 [7] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）最小角度回归。安.统计师。，第32407-499页。也可以在ISI/STMA出版物URL中找到摘要：·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [8] Emery，M.、Nemirovski，A.和Voiculescu，D.（2000）《概率论和统计学讲座》。《圣人的概率》第二十八卷至1998年（P.Bernard主编），数学课堂讲稿，1738年。柏林：Springer-Verlag。 [9] Foster，D.P.和George，E.L.（1994）多元回归的风险通货膨胀标准。安.统计师。，22, 1947-1975. 也可以在ISI/STMA出版物URL中找到摘要：·Zbl 0829.62066号 ·doi:10.1214/aos/1176325766 [10] Huber，P.（1973）稳健回归：渐近、猜想和蒙特卡罗。安.统计师。，1, 799-821. ·兹标0289.62033 ·doi:10.1214/aos/1176342503 [11] Juditsky，A.和Nemirovski，A.（2000）非参数回归的函数聚集。安.统计师。，28, 681-712. 也可以在ISI/STMA出版物URL中找到摘要：·Zbl 1105.62338号 ·doi:10.1214/aos/1015951994 [12] Le Cam，L.和Yang，G.L.（1990）《统计学中的渐近性》。纽约：Springer-Verlag·Zbl 0719.62003号 [13] Lee，W.S.，Bartlett，P.L.和Williamson，R.C.（1996）《具有有界扇入的神经网络的有效不可知论学习》，IEEE Trans。通知。理论，422118-2132·Zbl 0874.68253号 ·doi:10.1109/18.556601 [14] Nemirovski，A.和Yudin，D.（1983）优化中的问题复杂性和方法效率。奇切斯特：威利·Zbl 0501.90062号 [15] Portnoy，S.（1984）当p2=n较大时，p回归参数M-估计的渐近行为，I.相合性。安.统计师。，12, 1298-1309. ·Zbl 0584.62050号 ·doi:10.1214/aos/1176346793 [16] Silverstein，J.W.（1985）大维Wishart矩阵的最小本征值。Ann.Probab。，13, 1364-1368. ·Zbl 0591.60025号 ·doi:10.1214/aop/1176992819 [17] Tibshirani，R.（1996）通过套索进行回归收缩和选择。J.罗伊。统计师。Soc.序列号。B、 58、267-288页。在ISI/STMA出版物URL:JSTOR:links.JSTOR.org中也可以找到摘要·Zbl 0850.62538号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。