林毅；张浩海伦 多元非参数回归中的成分选择与平滑。 （英语） Zbl 1106.62041号 Ann.统计。 34，第5期，2272-2297（2006）. 摘要：我们在光滑样条方差分析的框架下，提出了一种新的多元非参数回归模型的模型选择和模型拟合方法。“COSSO”是一种正则化方法，惩罚函数是分量范数之和，而不是传统的光滑样条方法中使用的平方范数。COSSO为线性模型和平滑样条方差分析模型中的模型选择的几个最新建议提供了一个统一的框架。研究了COSSO估计的存在性和收敛速度等理论性质。在具有周期函数的张量积设计的特殊情况下，详细分析表明，COSSO通过对功能组件应用新的软阈值类型操作来进行模型选择。我们给出了COSSO估计的一个等价公式，这自然导致了一个迭代算法。在仿真和实际例子中，我们将COSSO与MARS进行了比较，MARS是一种构建函数ANOVA模型的流行方法。COSSO方法可以扩展到分类问题，我们将其与实际数据集上的许多机器学习算法的性能进行了比较。COSSO在这些研究中表现非常有竞争力。 引用于1审查引用于143文件 MSC公司： 62G08号 非参数回归和分位数回归 62J10型 方差和协方差分析（ANOVA） 65C60个 统计中的计算问题（MSC2010） 6220国集团 非参数推理的渐近性质 关键词：非参数分类；型号选择；正则化方法；平滑样条曲线 软件：全球供应链；PDCO公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Lin}和\textit{H.Zhang}，Ann.Stat.34，No.5，2272--2297（2006；Zbl 1106.62041） 全文： 内政部 arXiv公司 参考文献： [1] Breiman，L.（1995）。使用非负garrote进行更好的子集选择。技术计量37 373–384。JSTOR公司：·Zbl 0862.62059号 ·doi:10.2307/1269730 [2] Chen，S.、Donoho，D.和Saunders，M.（1998）。通过基追踪进行原子分解。SIAM J.科学。计算。20 33–61. ·Zbl 0919.94002号 ·doi:10.1137/S1064827596304010 [3] Chen，Z.（1993）。用交互样条模型拟合多元回归函数。J.罗伊。统计师。Soc.序列号。B 55 473–491。JSTOR公司：·Zbl 0783.62029号 [4] Craven，P.和Wahba，G.（1979年）。使用样条函数平滑噪声数据。数字。数学。31 377–403. ·Zbl 0377.65007号 ·doi:10.1007/BF01404567 [5] Efron，B.、Hastie，T.、Johnstone，I.和Tibshirani，R.（2004）。最小角度回归（讨论）。安。统计师。32 407–499. ·Zbl 1091.62054号 ·doi:10.1214/009053604000000067 [6] Fan，J.和Li，R.（2001）。通过非冲突惩罚似然及其oracle属性进行变量选择。J.Amer。统计师。协会96 1348–1360。JSTOR公司：·Zbl 1073.62547号 ·doi:10.1198/016214501753382273 [7] Frank，I.E.和Friedman，J.H.（1993年）。一些化学计量学回归工具的统计视图。技术计量35 109–148·Zbl 0775.62288号 ·doi:10.2307/1269656 [8] Friedman，J.H.（1991）。多元自适应回归样条（带讨论）。安。统计师。19 1–141·Zbl 0765.62064号 ·doi:10.1214/aos/1176347963 [9] Gu，C.（1992年）。带加法项的非参数回归模型的诊断。J.Amer。统计师。协会87 1051–1058。 [10] Gu，C.（2002）。平滑样条方差分析模型。柏林施普林格·Zbl 1051.62034号 [11] Gunn，S.R.和Kandola，J.S.（2002年）。稀疏核结构建模。机器学习48 137–163·Zbl 0998.68119号 ·doi:10.1023/A:1013903804720 [12] Shen，X.、Huang，H.和Ye，J.（2004）。模型选择后的推断。J.Amer。统计师。协会99 751–762·Zbl 1117.62423号 ·doi:10.1198/0162145000001097 [13] Shen，X.和Ye，J.（2002）。自适应模型选择。J.Amer。统计师。协会97 210–221。JSTOR公司：·Zbl 1073.62509号 ·doi:10.1198/016214502753479356 [14] Tapia，R.和Thompson，J.（1978年）。非参数概率密度估计。约翰·霍普金斯大学出版社，巴尔的摩·Zbl 0449.62029号 [15] Tibshirani，R.J.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B 58 267–288。JSTOR公司：·Zbl 0850.62538号 [16] Utreras，F.（1983年）。自然样条函数：它们的相关特征值问题。数字。数学。42 107–117. ·Zbl 0522.41011号 ·doi:10.1007/BF01400921 [17] van de Geer，S.（2000）。M-估计中的经验过程。剑桥大学出版社·Zbl 1179.62073号 [18] van Gestel，T.、Suykens，J.A.K.、Baesens，B.、Viaene，S.、Vantheenen，J.、Dedene，G.、de Moor，B.和Vandewalle，J.（2004）。基准最小二乘支持向量机分类器。机器学习54 5–32·Zbl 1078.68737号 ·doi:10.1023/B:MACH.0000008082.80494.e0 [19] Wahba，G.（1990年）。观测数据的样条模型。费城SIAM·Zbl 0813.62001号 [20] Wahba，G.、Wang，Y.、Gu，C.、Klein，R.和Klein，B.（1995年）。指数族的平滑样条方差分析，应用于威斯康星州糖尿病视网膜病变流行病学研究。安。统计师。23 1865–1895. ·Zbl 0854.62042号 ·doi:10.1214/aos/1034713638 [21] Yau，P.、Kohn，R.和Wood，S.（2003年）。高维多项式非参数回归中的贝叶斯变量选择和模型平均。J.计算。图表。统计师。12 23–54. ·数字对象标识代码：10.1198/1061860031301 [22] Ye，J.（1998）。关于测量和纠正数据挖掘和模型选择的影响。J.Amer。统计师。协会93 120–131。JSTOR公司：·Zbl 0920.62056号 ·doi:10.2307/2669609 [23] Zhang，H.H.、Wahba，G.、Lin，Y.、Voelker，M.、Ferris，M.和Klein，R.（2004）。通过似然基追踪进行变量选择和建模。J.Amer。统计师。协会99 659–672·Zbl 1117.62459号 ·doi:10.1198/016214500000593 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。