统计及其接口

第2卷(2009年)

数字3

多类AdaBoost

页:349 – 360

内政部:https://dx.doi.org/10.4310/SII.2009.v2.n3.a8

作者

Trevor Hastie(美国加州斯坦福大学统计系)

Saharon Rosset(以色列特拉维夫特拉维夫大学统计系)

Ji Zhu(美国密歇根州安阿伯市密歇根大学统计系)

Hui Zou(美国明尼苏达州明尼阿波利斯市明尼苏打大学统计学院)

摘要

Boosting是解决两类分类问题的一种非常成功的技术。在从两类分类到多类分类的过程中,大多数算法都局限于将多类分类问题简化为多个两类问题。在本文中,我们开发了一种新的算法,该算法将AdaBoost算法直接扩展到多类情况,而不将其简化为多个两类问题。我们证明了所提出的多类AdaBoost算法等价于一种正向分段加性建模算法,该算法可以最小化多类分类的新指数损失。此外,我们还证明了指数损失是一类用于多类分类的Fisher一致损失函数的一个成员。如本文所示,新算法非常容易实现,并且在误分类率方面具有很强的竞争力。

关键词

boosting、指数损失、多类分类、分段建模

2010年数学学科分类

62H30型

2009年1月1日出版