开放式访问
2000年4月 加法logistic回归:一个关于提升的统计观点(作者进行了讨论和反驳)
杰罗姆·弗里德曼,黑斯蒂,罗伯特·蒂施莱尼
安。统计师。 28(2): 337-407 (2000年4月)。 DOI:10.1214/aos/1016218223

摘要

提升是分类方法学中最重要的最新发展之一。Boosting的工作原理是,将分类算法依次应用于训练数据的重加权版本,然后对由此产生的分类器序列进行加权多数投票。对于许多分类算法来说,这种简单的策略可以显著提高性能。我们表明,这个看似神秘的现象可以用众所周知的统计原理来理解,即加性建模和最大似然。对于两类问题,boosting可以被视为使用最大贝努利似然作为标准的逻辑尺度上的加法建模的近似。我们发展了更直接的近似方法,并表明它们显示出与升压几乎相同的结果。导出了基于多项式似然的直接多类推广,在大多数情况下表现出与其他最近提出的boosting多类推广相当的性能,在某些情况下表现得更佳。我们建议对增压进行微小修改,以减少计算量,通常是10到50倍。最后,我们将这些见解应用于生成增强决策树的替代公式。这种方法基于最早截断树归纳法,通常可以获得更好的性能,并且可以提供聚合决策规则的可解释描述。它的计算速度也快得多,更适合大规模数据挖掘应用。

引用

下载引文

杰罗姆·弗里德曼。 特雷弗·哈斯蒂。 罗伯特·提比拉尼(Robert Tibshirani)。 “加法logistic回归:提升的统计观点(作者进行了讨论和反驳)。” 安。统计师。 28 (2) 337至407之间, 2000年4月。 https://doi.org/10.1214/aos/1016218223

问询处

发布日期:2000年4月
欧几里得项目首次提供:2002年3月15日

zbMATH公司:1106.62323
数学科学网:1790002马来西亚令吉
数字对象标识符:10.1214/aos/1016218223

学科:
主要用户:62G05型,62G07年,68T05型,68吨10

关键词:分类,机器学习,非参数估计,分段装配,

版权所有©2000数学统计研究所

第28卷•第2期•2000年4月
返回页首