×

稀疏增压。 (英语) Zbl 1222.68155号

摘要:我们提出了稀疏boosting(sparse(L_{2})Boost算法),这是一种基于误差平方损失的boosting算法的变体。稀疏\(L_{2}\)Boost通过小步梯度下降最小化一些惩罚\(L_{2}\)损失函数,即\(FPE\)模型选择标准,产生比先前提出的\(L_{2}\)Boosting更稀疏的解。尽管boosting可能会给出相对稀疏的解,例如对应于正交线性模型中的软阈值估计量,但有时需要更稀疏的解来提高预测精度和更好的变量选择能力:这样的目标可以通过稀疏Boost实现。我们证明了正交线性模型的稀疏(L_2})Boost与Breiman的非负garrote估计的等价性,并证明了非参数交互建模中稀疏(L_2})Boost的一般性质。对于稀疏(L_{2})Boost中调谐参数的自动选择,我们建议使用gMDL模型选择准则,该准则也可用于提前停止(L_[2})Boost。因此,我们可以通过比较gMDL得分在稀疏(L_{2})Boost和(L_[2})Boosting之间进行选择。

MSC公司:

68T05型 人工智能中的学习和自适应系统
62G08号 非参数回归和分位数回归
PDF格式BibTeX公司 XML格式引用
全文: 链接