×

(L_2)损失增加:回归和分类。 (英语) Zbl 1041.62029号

小结:本文研究了boosting的一个计算上简单的变体,即(L_2)Boost,它是由带有(L_2-损失函数的函数梯度下降算法构造的。与其他boosting算法一样,Boost以迭代的方式多次使用预先选择的拟合方法,称为学习器。基于L_2 Boost残差重装的显式表达式,在回归和分类中详细研究了(对称)线性学习器的情况。
特别是,使用boosting迭代(m)作为平滑或正则化参数,发现了一种新的指数偏差-方差权衡,随着(m)趋于无穷大,方差(复杂性)项的增长非常缓慢。当学习者是一个平滑样条时,回归和分类都有一个最佳的收敛速度,而增强的平滑样条甚至可以适应高阶未知平滑。此外,还导出了(平滑的)0-1损失函数的简单展开式,以揭示决策边界的重要性、偏差减少以及在分类中不可能进行加性偏差-方差分解。
最后,通过仿真和实际数据集结果证明了L_2 Boost的吸引力。特别地,我们证明了在存在高维预测器的情况下,使用新型分量三次平滑样条的(L_2)Boosting既实用又有效。

MSC公司:

62克08 非参数回归和分位数回归
62小时30分 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用
全文: 内政部