彼得·伯尔曼;于斌 稀疏增压。 (英语) Zbl 1222.68155号 J.马赫。学习。物件。 7, 1001-1024 (2006). 摘要:我们提出了稀疏boosting(sparse(L_{2})Boost算法),这是一种基于误差平方损失的boosting算法的变体。稀疏\(L_{2}\)Boost通过小步梯度下降最小化一些惩罚\(L_{2}\)损失函数,即\(FPE\)模型选择标准,产生比先前提出的\(L_{2}\)Boosting更稀疏的解。尽管boosting可能会给出相对稀疏的解,例如对应于正交线性模型中的软阈值估计量,但有时需要更稀疏的解来提高预测精度和更好的变量选择能力:这样的目标可以通过稀疏Boost实现。我们证明了正交线性模型的稀疏(L_2})Boost与Breiman的非负garrote估计的等价性,并证明了非参数交互建模中稀疏(L_2})Boost的一般性质。对于稀疏(L_{2})Boost中调谐参数的自动选择,我们建议使用gMDL模型选择准则,该准则也可用于提前停止(L_[2})Boost。因此,我们可以通过比较gMDL得分在稀疏(L_{2})Boost和(L_[2})Boosting之间进行选择。 引用于26文件 MSC公司: 68T05型 人工智能中的学习和自适应系统 62G08号 非参数回归和分位数回归 关键词:套索;最小描述长度(MDL);型号选择;非负garrote;回归,回归 PDF格式BibTeX公司 XML格式引用 \textit{P.Bühlmann}和\textit{B.Yu},J.马赫。学习。第71001--1024号决议(2006年;Zbl 1222.68155) 全文: 链接