×

关于随机森林的渐近性。 (英语) 兹比尔1337.62063

摘要:过去十年,人们对随机森林模型越来越感兴趣,这些模型被认为具有良好的实用性能,尤其是在高维环境中。然而,在理论方面,它们的预测能力在很大程度上仍然无法解释,从而在理论和实践之间造成了差距。在本文中,我们在回归框架中给出了随机森林的一些渐近结果。首先,我们提供了理论保证,将实际使用的有限森林(具有有限数量的树)与它们的渐近对应物(具有有限数目的树)联系起来。利用经验过程理论,我们证明了一大类随机森林估计的统一中心极限定理,特别适用于布雷曼《马赫·学习》第45卷第1、5–32页(2001年;Zbl 1007.68152号)]. 其次,我们证明了无限森林一致性意味着有限森林一致性,因此,我们说明了几个无限森林的一致性。特别是,我们证明了\(q\)分位数森林——在精神上与Breiman的[loc.cit.]森林接近,但更容易研究——能够将不一致的树木组合起来,以获得最终的一致预测,从而突出了随机森林与单一树木相比的优势。

MSC公司:

62G05型 非参数估计
6220国集团 非参数推理的渐近性质
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Biau,G.,《随机森林模型分析》,J.Mach。学习。第13号决议,1063-1095(2012年)·Zbl 1283.62127号
[2] Biau,G。;Devroye,L。;Lugosi,G.,《随机森林和其他平均分类器的一致性》,J.Mach。学习。2015-2033年第9号决议(2008年)·Zbl 1225.62081号
[3] Bongiorno,E.G。;戈亚,A。;Salinelli,E。;Vieu,P.,《无限维统计和相关主题的贡献》(2014年),Societa Editrice Esculapio·Zbl 1377.62023号
[4] Boucheron,S。;卢戈西,G。;Massart,P.,《集中不等式:独立性的非渐近理论》(2013),牛津大学出版社·Zbl 1279.60005号
[5] Breiman,L.,Bagging预测因子,马赫数。学习。,24, 123-140 (1996) ·Zbl 0858.68080号
[6] Breiman,L.,预测集合的一些无穷理论。技术报告577(2000),加州大学伯克利分校
[7] Breiman,L.,《随机森林》,马赫。学习。,45, 5-32 (2001) ·Zbl 1007.68152号
[8] 布雷曼,L。;弗里德曼,J。;Olshen,R.A。;Stone,C.J.,《分类和回归树》(1984),查普曼和霍尔出版社:纽约查普曼与霍尔出版社·Zbl 0541.62042号
[9] 克莱门松,S。;Deecker,M。;Vayatis,N.,Ranking forests,J.Mach。学习。研究,14,39-73(2013)·兹比尔1307.68065
[10] 卡特勒,A。;Zhao,G.,Pert-完全随机树系综,计算。科学。统计,33,490-497(2001)
[12] Devroye,L。;Györfi,L。;Lugosi,G.,模式识别的概率理论(1996),Springer:Springer纽约·Zbl 0853.68150号
[13] 迪亚斯·乌里亚特,R。;Alvarez de Andrés,s.,基因选择和使用随机森林的微阵列数据分类,BMC生物信息。,7, 1-13 (2006)
[14] Dietterich,T.G。;Kong,E.B.,决策树算法的机器学习偏差、统计偏差和统计方差。技术报告(1995),计算机科学系:俄勒冈州立大学计算机科学系
[15] 费拉蒂,F。;Vieu,P.,《非参数函数数据分析:理论与实践》(2006),Springer Science&Business Media·Zbl 1119.62046号
[17] Geurts,P。;Ernst,D。;Wehenkel,L.,《极度随机树》,马赫。学习。,63, 3-42 (2006) ·Zbl 1110.68124号
[19] Györfi,L。;科勒,M。;Krzyżak,A。;Walk,H.,非参数回归的无分布理论(2002),Springer:Springer纽约·Zbl 1021.62024号
[20] Hamza,M。;Laroque,D.,《基于分类树的集成方法的经验比较》,J.Stat.Compute。模拟。,75, 629-643 (2005) ·Zbl 1075.62051号
[21] Ho,T.,构建决策森林的随机子空间方法,模式分析。机器。智力。,20, 8, 832-844 (1998)
[22] Horváth,L。;Kokoszka,P.,《功能数据与应用推断》(2012),施普林格科学与商业媒体·Zbl 1279.62017号
[23] Ishwaran,H.,《分裂对随机森林的影响》,马赫。学习。,1-44 (2013)
[24] Ishwaran,H。;Kogalur,U.B.,随机存活森林的一致性,统计。普罗巴伯。莱特。,80, 1056-1064 (2010) ·Zbl 1190.62177号
[25] Ishwaran,H。;Kogalur,英国。;Blackstone,E.H。;Lauer,M.S.,《随机生存森林》,Ann.Appl。统计,2841-860(2008)·Zbl 1149.62331号
[27] Liaw,A。;Wiener,M.,《随机森林分类与回归》,R News,2,18-22(2002)
[28] Meinshausen,N.,分位数回归森林,J.Mach。学习。第7983-999号决议(2006年)·Zbl 1222.68262号
[30] 波吉,J.-M。;Tuleau,C.,《大尺度分类监管》。导管汽车应用程序,Rev.Stat.Appl。,第54页,第41-60页(2006年)
[31] Qi,Y.,集成机器学习,307-323(2012),Springer,生物信息学随机森林章节
[32] J.O.拉姆齐。;Silverman,B.W.,《功能数据分析》(2005),施普林格出版社·Zbl 0882.6202号
[33] 罗杰斯,G。;Rihan,J。;拉马林加姆,S。;Orrite,C。;Torr,P.H.,《人体姿势检测的随机树》(IEEE计算机视觉和模式识别会议,2008年)。IEEE计算机视觉和模式识别会议,2008年,CVPR 2008(2008),IEEE),1-8
[35] Stone,C.J.,一致非参数回归,Ann.Statist。,5, 595-645 (1977) ·Zbl 0366.62051号
[36] 范德法特,Aad W。;Wellner,Jon A.,《弱收敛和经验过程:统计应用》(1996),Springer:Springer New York·Zbl 0862.60002号
[38] Wager,S。;哈斯蒂,T。;Efron,B.,《随机森林的置信区间:折刀和无穷小折刀》,J.Mach。学习。第15号决议,1625-1651(2014)·Zbl 1319.62132号
[39] 朱,R。;曾博士。;Kosorok,M.R.,《强化学习树》。北卡罗来纳大学技术报告(2012)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。