×

一种用于解决分类问题的局部增强算法。 (英语) Zbl 1452.62478号

摘要:基于Adaboost逐重采样版本,本文提出了一种用于处理分类任务的局部boosting算法。它的主要思想是,在每次迭代中,为每个训练实例计算一个局部错误,并使用该局部错误的函数来更新实例被选为下一个分类器训练集的一部分的概率。在对一个新实例进行分类时,考虑了它与每个训练实例之间的相似性信息。同时,在更新分配给训练实例的概率的过程中引入一个参数,使算法比Adaboost算法更精确。对UCI知识库中的合成数据集和几个基准真实数据集的实验结果表明,该方法提高了Adaboost的预测精度和对分类噪声的鲁棒性。此外,利用kappa-error图研究了集成分类器的不同精度模式。

MSC公司:

62H30型 分类和区分;聚类分析(统计方面)
62-08 统计问题的计算方法
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Banfield,R.E。;洛杉矶霍尔。;鲍耶,K.W。;Kegelmeyer,W.P.,《决策树集成创建技术的比较》,IEEE Trans。模式分析。机器。整数。,29, 1, 173-180 (2007)
[2] Blake,C.L.,Merz,C.J.,1998年。UCI机器学习数据库存储库,URL可从以下网址获得:网址:http://www.ics.uci.edu/mlearn/MLRepository.html;Blake,C.L.,Merz,C.J.,1998年。UCI机器学习数据库存储库,URL可从以下网址获得:网址:http://www.ics.uci.edu/mlearn/MLRepository.html
[3] Breiman,L.,装袋预测,马赫数。学习。,24, 2, 123-140 (1996) ·Zbl 0858.68080号
[4] Breiman,L.,电弧分类器,Ann.Statist。,26, 3, 801-849 (1998) ·Zbl 0934.62064号
[5] Breiman,L.,《随机森林》,马赫。学习。,45, 1, 5-32 (2001) ·Zbl 1007.68152号
[6] 布雷曼,L。;弗里德曼,J。;Olshen,R。;Stone,C.,《分类和回归树》(1984),查普曼和霍尔:查普曼与霍尔新作品·兹伯利0541.62042
[7] Chandra,A。;Yao,X.,学习机器的进化混合集成以获得更好的泛化能力,神经计算,69,7-9,686-700(2006)
[8] Dietterich,T.G.,三种构建决策树集合的方法的实验比较:装袋、增强和随机化,马赫。学习。,40, 2, 139-157 (2000)
[9] Drucker,H。;Cortes,C.,《提升决策树》,《神经信息》。程序。系统。,8, 479-485 (1996)
[10] 埃夫隆,B。;Tibshirani,R.J.,《Bootstrap简介》(1993),查普曼和霍尔出版社:纽约查普曼与霍尔出版社·Zbl 0835.62038号
[11] Fleiss,J.L。;莱文,B。;Paik,M.C.,《比率和比例的统计方法》(1981年),威利出版社:威利纽约·Zbl 0544.6202号
[12] Freund,Y.,Schapire,R.E.,1996年。实验一种新的boosting算法。摘自:第13届机器学习国际会议论文集。意大利巴里,148-156年。;Freund,Y.,Schapire,R.E.,1996年。实验一种新的boosting算法。摘自:第13届机器学习国际会议论文集。意大利巴里,148-156年。
[13] 弗伦德,Y。;Schapire,R.E.,《在线学习的决策理论推广及其在助推中的应用》,J.Compute。系统科学。,55, 1, 119-139 (1997) ·Zbl 0880.68103号
[14] Friedman,J.H.,《贪婪函数近似:梯度提升机》,Ann.Statist。,29, 5, 1189-1232 (2001) ·Zbl 1043.62034号
[15] Friedman,J.H.,随机梯度增强,计算。统计师。数据分析。,38, 4, 367-378 (2002) ·Zbl 1072.65502号
[16] 弗里德曼,J。;哈斯蒂,T。;Tibshirani,R.,《加性逻辑回归:提升的统计观点》,《统计年鉴》。,28, 2, 337-407 (2000) ·Zbl 1106.62323号
[17] Hansen,L。;Salamon,P.,《神经网络集成》,IEEE Trans。模式分析。机器。整数。,12, 10, 993-1001 (1990)
[18] M.J.卡恩斯。;Vazirani,U.V.,《计算学习理论导论》(1994年),麻省理工学院出版社:麻省理学院出版社剑桥
[19] 拉丁纳,P。;德贝尔,O。;Decastecker,C.,结合不同方法和弱决策树的数量,模式分析。申请。,201-209年5月2日(2002年)·兹比尔1002.68717
[20] Maclin,R.,Optiz,D.,1997年。装袋和增压的实证评估。摘自:第十四届全国人工智能会议记录。AAAI出版社,RI,第546-551页。;Maclin,R.,Optiz,D.,1997年。装袋和增压的实证评估。摘自:第十四届全国人工智能会议记录。AAAI出版社,RI,第546-551页。
[21] Marginantu,D.,Dietterich,T.,1997年。修剪自适应增强。摘自:第14届机器学习国际会议论文集。摩根,卡夫曼,第211-218页。;Marginantu,D.,Dietterich,T.,1997年。修剪自适应增强。摘自:第14届机器学习国际会议论文集。摩根,卡夫曼,第211-218页。
[22] Optiz,D。;Maclin,R.,《流行集成方法:实证研究》,J.Artif。智力。第11号决议,169-198(1999)·Zbl 0924.68159号
[23] Optiz,D.W。;Shavlik,J.W.,《生成神经网络集成的准确多样成员》,《神经信息》。程序。系统,8535-541(1996)
[24] Rätch,G。;Onoda,T。;Müller,K.R.,Adaboost,Mach的软利润。学习。,42, 3, 287-320 (2001) ·Zbl 0969.68128号
[25] 罗德里格斯,J.J。;Kuncheva,L.I。;Alonso,C.J.,《旋转森林:一种新的分类器集成方法》,IEEE Trans。模式分析。机器。整数。,28, 10, 1619-1630 (2006)
[26] Schapire,R.E.,《弱可学习性的力量》,马赫。学习。,5, 2, 197-227 (1990)
[27] 夏皮雷,R.E。;Singer,Y.,《使用置信度预测的改进助推算法》,马赫。学习。,37, 3, 297-336 (1999) ·兹比尔0945.68194
[28] Tresp,V.,委员会机器,(Hu,Y.;Hwang,H.-N.,《神经网络信号处理手册》(2001),CRC出版社:CRC出版社,佛罗里达州博卡拉顿)
[29] Wolpert,D.H.,叠加泛化,神经网络,5,2,241-259(1992)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。