×

使用PL-baging进行精确的整体修剪。 (英语) Zbl 1507.62037号

摘要:集合剪枝处理组合之前的基础学习者选择,以提高预测准确性和效率。在集成文献中,有人指出,为了使集成分类器达到更高的预测精度,集成分类器必须由精确的分类器组成,同时尽可能地多样化。本文提出了一种新的集成剪枝方法,称为PL-baging。为了在基础学习者的多样性和准确性之间取得平衡,PL-baging在组合步骤中使用正Lasso来为基础学习者分配权重。仿真研究和理论研究表明,PL-Baging过滤掉冗余的基本学习器,同时为更准确的基本学习者分配更高的权重。这种改进的PL-baging加权方案进一步提高了分类精度,并且随着集成规模的增加,这种改进变得更加显著。使用22个真实数据集和4个合成数据集对PL-baging和最先进的集成剪枝方法的性能进行了比较,以聚集引导的基础学习者。结果表明,PL-bagging显著优于最先进的集成修剪方法,如基于Boosting的修剪和Trimmed bagging。

MSC公司:

62-08 统计学相关问题的计算方法
62H30型 分类和区分;聚类分析(统计方面)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 鲍尔,E。;Kohavi,R.,《投票分类算法的经验比较:打包、增强和变体》,马赫。学习。,36, 105-139, (1999)
[2] Breiman,L.,装袋预测,马赫数。学习。,24, 123-140, (1996) ·Zbl 0858.68080号
[3] Breiman,L.,《随机森林》,马赫。学习。,45, 5-32, (2001) ·Zbl 1007.68152号
[4] 布雷曼,L。;弗里德曼,J.H。;Olshen,R.A。;Stone,C.J.,《分类和回归树》(1984),纽约查普曼和霍尔出版社·兹伯利0541.62042
[5] Chen,K.,Jin,Y.,2010年。一种基于拉索选择的集成学习算法。参见:IEEE智能计算和智能系统国际会议,ICIS,第1卷,第617-620页。
[6] 克罗克斯,C。;Joossens,K。;Lemmens,A.,整理装袋,计算。统计师。数据分析。,52, 362-368, (2007) ·Zbl 1452.62047号
[7] 埃夫隆,B。;约翰斯通,I。;哈斯蒂,T。;Tibshirani,R.,最小角回归,Ann.Statist。,32, 407-499, (2004) ·Zbl 1091.62054号
[8] Frank,A.,Asuncion,A.,2010年。UCI机器学习库。http://archive.ics.uci.edu/ml。
[9] 弗伦德,Y。;Schapire,R.E.,《在线学习的决策理论推广及其在助推中的应用》,J.Compute。系统科学。,55, 119-139, (1997) ·Zbl 0880.68103号
[10] Hansen,L。;Salamon,P.,《神经网络集成》,IEEE Trans。模式分析。,12, 993-1001, (1990)
[11] 亨氏,G。;彼得森·L·J。;约翰逊,R.W。;柯克,C.J.,《探索身体维度的关系》,《教育杂志》。,11,(2003),网址:www.amstat.org/publications/jse/v11n2/datasets.johnson.html
[12] Hothorn,T。;Lausen,B.,《双重分类:通过引导聚合组合分类器》,模式识别。,36, 1303-1309, (2003) ·Zbl 1028.68144号
[13] Hothorn,T。;Lausen,B.,通过装袋树捆绑分类器,计算。统计师。数据分析。,49, 1068-1078, (2005) ·Zbl 1429.62246号
[14] Kim,H。;Kim,H。;Moon,H。;Ahn,H.,分类器集合的权重调整投票算法,J.Korean Statist。Soc.,40437-449,(2011年)·Zbl 1296.62131号
[15] Kuncheva,L.,多分类器系统中的多样性,Inform。融合,6,3-4,(2005)
[16] Lam,L。;Suen,C.,《多数投票在模式识别中的应用:行为和性能分析》,IEEE Trans。模式分析。,27, 553-568, (1997)
[17] Loh,W.Y.,《提高分类树的精度》,Ann.Appl。统计,31710-1737,(2009)·Zbl 1184.62109号
[18] Marginantu,D.,Dietterich,T.,1997年。修剪自适应增强。摘自:《第十四届机器学习国际会议论文集》,第211-218页。
[19] 马丁内斯·穆诺兹(Martinez-Munoz,G.)。;Suarez,A.,《使用增强来修剪装袋组合》,《模式识别》。莱特。,28, 156-165, (2007)
[20] Opitz,D.W。;Shavlik,J.W.,《生成准确且多样的神经网络集成成员》(神经信息处理系统进展,(1996),麻省理工学院出版社),535-541
[21] 拉赫曼,A。;Alam,H。;Fairhurst,M.,《用于字符识别的多分类器组合:重温多数投票系统及其变体》,(Lopresti,D.;Hu,J.;Kashi,R.,《文档分析系统V,计算机科学讲义》,第2423卷,(2002),斯普林格-柏林,海德堡),167-178·Zbl 1021.68776号
[22] R核心团队,R:统计计算的语言和环境,(2012年),奥地利维也纳R统计计算基金会
[23] 罗德里格斯,J。;Kuncheva,L。;Alonso,C.,《旋转森林:一种新的分类器集成方法》,IEEE Trans。模式分析。,28, 1619-1630, (2006)
[24] 斯科里奇纳,M。;Duin,R.,线性分类器的打包,模式识别。,31, 909-930, (1998)
[25] Tibshirani,R.,《通过套索进行回归收缩和选择》,J.R.Stat.Soc.Ser。B统计方法。,58, 267-288, (1996) ·Zbl 0850.62538号
[26] 张春霞。;Zhang,J.S.,构建集成分类器的新方法,统计计算。,19, 317-327, (2009)
[27] 张春霞。;张建生。;Zhang,G.Y.,使用boosting来修剪双袋集合,计算。统计师。数据分析。,53, 1218-1231, (2009) ·Zbl 1452.62145号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。