×

助推。基础和算法。 (英语) Zbl 1278.68021号

自适应计算与机器学习马萨诸塞州剑桥:麻省理工学院出版社(ISBN 978-0-262-01718-3/hbk)。xv,第526页。(2012年)。
假设我们可以使用生成弱分类器的学习算法,也就是说,分类器的性能略好于随机猜测,并且概率很高。我们能否在数据的帮助下组合这些分类器,以使最终的分类器具有任意良好的性能?机器学习中的这个基本问题是由M.Kearns和G.Valiant于1994年在可能近似正确(PAC)学习框架中工作时首次提出的。这本书的作者因其在2003年的工作获得了哥德尔奖,他们在1996年左右发明了第一种增强算法,给出了一个积极的答案。这本书是第一本专门讨论这个主题的书,它全面介绍了boosting算法。
在温和地介绍了机器学习的一般情况和特别是boosting之后,本书分为4个部分,其中前两部分包含boosting的核心材料,第三和第四部分讨论了更高级的材料和扩展。
第一部分介绍了基本统计分析。为此,作者在第2章中介绍了一致偏差界、VC-维数和压缩界。随后的章节考虑了AdaBoost的训练误差,第四章结合这些结果来建立AdaBooss的泛化误差界。此外,它还表明了弱可学习性和强可学习性之间的等价性。在第五章中,作者提出了他们更倾向于将提升作为利润最大化方案的观点。
第二部分包含三个非常好的章节,介绍了对提升的不同解释。第6章探讨了AdaBoost与博弈论和在线学习的关系,而第7章表明,AdaBoost贪婪地将特定的经验风险最小化。在本部分的第三章即最后一章中,作者将AdaBoost解释为一种迭代投影算法,并证明了它的一些收敛性。
在本书的第三部分中,介绍了AdaBoost对比二进制分类更复杂的学习场景的扩展。第9章介绍了第一个这样的扩展,它使用了信任度较低的学习者。第10章讨论了多类分类,最后第11章介绍了用于排序问题的增强算法。
本书的第四部分也是最后一部分介绍了一些关于助推的高级材料。这一部分的重点可能是第12章,它完整地证明了Adaboost的普遍一致性。第13章回顾了boosting的博弈论方面,最后一章介绍了AdaBoost的连续时间修改。
这本书在机器学习社区中受到欢迎,因为它首次全面介绍了boosting及其理论。它温和的风格和每章末尾大量有趣的练习使它成为一本很好的教科书,特别是对于计算机科学高级研究生课程,而书目注释与现有的助推文献很好地联系在一起。然而,以数学为导向的读者可能会被警告,这本书的风格不像数学教科书中那样严谨,因为这本书显然更多地针对计算机科学家。此外,作者对利润最大化提振观点的偏好似乎更多地依赖于哲学推理,而非令人信服的论点。尽管如此,这本书无疑是对助推的极好介绍。

MSC公司:

68-02 与计算机科学有关的研究展览会(专著、调查文章)
68T05型 人工智能中的学习和自适应系统
62H30型 分类和区分;聚类分析(统计方面)
PDF格式BibTeX公司 XML格式引用