×

解释AdaBoost和随机森林作为插值分类器的成功之处。 (英语) 兹比尔1433.68384

摘要:有大量文献解释为什么AdaBoost是一个成功的分类器。关于AdaBoost的文献主要关注分类器边界和boosting作为指数似然函数优化的解释。然而,这些现有的解释被指出是不完整的。随机森林是另一种流行的集合方法,文献中对此的解释很少。我们引入了一个关于AdaBoost和随机森林的新观点,认为这两种算法的工作原理类似。虽然这两种分类器都达到了相似的预测精度,但不能将随机森林视为直接的优化过程。相反,随机森林是一种自平均插值算法,它创建了我们所说的“尖峰平滑”分类器,我们也从同样的角度看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些示例来支持这种解释。在这个过程中,我们质疑传统观点,即分类的boosting算法需要正则化或提前停止,并且应该局限于低复杂度的学习者类,例如决策树桩。我们的结论是,增强应该像随机森林一样使用:使用大型决策树,而不需要进行规范化或提前停止。

理学硕士:

68T05型 人工智能中的学习和自适应系统
62小时30分 分类和区分;聚类分析(统计方面)
68吨10 模式识别、语音识别
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接