×
二湾蝎子；杰拉德·比亚；珍妮·菲利佩（Jean-Philippe）

随机森林的一致性。 （英语） 兹比尔1317.62028

Ann.统计。 43，第4期，1716-1741（2015）.
摘要：随机森林是一种学习算法，由布雷曼[Mach.Learn.45，No.1，5-32（2001；Zbl 1007.68152号)]它结合了几个随机决策树，并通过平均来聚合它们的预测。尽管它的广泛应用和出色的实际性能，但人们对该过程的数学性质知之甚少。理论和实践之间的这种差异源于难以同时分析随机化过程和高度依赖数据的树结构。在本文中，我们在可加回归模型的背景下，通过证明Breiman的[loc.cit.]原始算法的一致性结果，在森林探索方面向前迈进了一步。我们的分析还揭示了随机森林是如何很好地适应稀疏性的。

引用于1审查
引用于72文件

MSC公司：

62G05型 非参数估计
6220国集团 非参数推理的渐近性质

关键词：

随机森林；随机化；一致性；可加模型；稀疏；尺寸缩减

引文：

Zbl 1007.68152号

软件：

ElemStatLearn（电子状态学习）；GeneSrF公司
PDF格式BibTeX公司 XML格式引用
\textit{E.Scornet}等人，Ann.Stat.43，No.4，1716--1741（2015；Zbl 1317.62028）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Amaratunga，D.、Cabrera，J.和Lee，Y.-S.（2008）。丰富的随机森林。生物信息学2010-2014年24月。
[2] Bai，Z.-D.，Devroye，L.，Hwang，H.-K.和Tsai，T.-H.（2005）。超立方体中的最大值。随机结构算法27 290-309·1080.60007兹罗提 ·doi:10.1002/rsa.20053
[3] Barndorff Nielsen，O.和Sobel，M.（1966年）。关于向量随机样本中允许点的数量的分布。特奥尔。维罗贾诺斯特。i Primenen公司。11 283-305. ·兹比尔0278.60007
[4] Biau，G.（2012年）。随机森林模型分析。J.马赫。学习。第13号决议1063-1095·Zbl 1283.62127号
[5] Biau，G.和Devroye，L.（2010年）。在分层最近邻估计、袋装最近邻估计和随机森林方法的回归和分类中。《多元分析杂志》。101 2499-2518. ·Zbl 1198.62048号 ·doi:10.1016/j.jmva.2010.06.019
[6] Biau，G.、Devroye，L.和Lugosi，G.（2008）。随机森林和其他平均分类器的一致性。J.马赫。学习。2015年至2033年第9号决议·Zbl 1225.62081号
[7] Boucheron，S.、Lugosi，G.和Massart，P.（2013）。集中不等式：独立性的非渐近理论。牛津大学出版社，牛津·Zbl 1279.60005号
[8] Breiman，L.（1996）。装袋预测器。马赫。学习。24 123-140. ·兹比尔0867.62055 ·doi:10.1214操作系统/1032181158
[9] Breiman，L.（2001）。随机森林。马赫。学习。45 5-32. ·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[10] Breiman，L.（2004）。随机森林简单模型的一致性。技术报告670，加利福尼亚大学伯克利分校。
[11] Breiman，L.、Friedman，J.H.、Olshen，R.A.和Stone，C.J.（1984）。分类和回归树。Wadsworth Advanced Books and Software，加利福尼亚州贝尔蒙特·Zbl 0541.62042号
[12] Bühlmann，P.和Yu，B.（2002）。分析装袋。安。统计师。30 927-961. ·Zbl 1029.62037号 ·doi:10.1214/aos/1031689014
[13] Clémençon，S.、Depecker，M.和Vayatis，N.（2013年）。对森林进行排名。J.马赫。学习。第14号决议39-73·Zbl 1307.68065号
[14] 卡特勒·D·R、爱德华兹·T·C·Jr、比尔德·K·H、卡特勒·A、赫斯·K·T、吉布森·J和劳勒·J·J（2007）。生态学分类中的随机森林。生态学88 2783-2792。
[15] Denil，M.、Matheson，D.和Freitas，N.D.（2013年）。联机随机林的一致性。ICML会议记录。可在上获取。arXiv:1302.4853
[16] Devroye，L.、Györfi，L.和Lugosi，G.（1996）。模式识别的概率理论。数学应用（纽约）31。纽约州施普林格·Zbl 0853.68150号
[17] Díaz-Uriarte，R.和Alvarez de Andrés，s.（2006年）。使用随机森林对微阵列数据进行基因选择和分类。BMC生物信息学7 1-13。
[18] Efron，B.（1982）。Jackknife、Bootstrap和其他重新采样计划。CBMS-NSF应用数学区域会议系列38。费城SIAM·Zbl 0496.62036号
[19] Genuer，R.（2012）。纯随机森林中的方差减少。J.非参数。法令24 543-562·Zbl 1254.62050号 ·doi:10.1080/10485252.2012.677843
[20] Geurts，P.、Ernst，D.和Wehenkel，L.（2006）。极度随机的树。马赫。学习。63 3-42. ·Zbl 1110.68124号 ·doi:10.1007/s10994-006-6226-1
[21] Györfi，L.、Kohler，M.、Krzyżak，A.和Walk，H.（2002）。非参数回归的无分布理论。纽约州施普林格·Zbl 1021.62024号 ·数字对象标识代码：10.1007/b97848
[22] Hastie，T.和Tibshirani，R.（1986年）。广义加性模型。统计师。科学。1 297-318. ·Zbl 0645.62068号 ·doi:10.1214/ss/1177013604
[23] Hastie，T.、Tibshirani，R.和Friedman，J.（2009）。《统计学习的要素：数据挖掘、推断和预测》，第二版，纽约斯普林格出版社·Zbl 1273.62005年 ·doi:10.1007/978-0-387-84858-7
[24] Ishwaran，H.和Kogalur，U.B.（2010年）。随机存活森林的一致性。统计师。可能性。莱特。80 1056-1064. ·Zbl 1190.62177号 ·doi:10.1016/j.spl.2010.02.020
[25] Ishwaran，H.、Kogalur，U.B.、Blackstone，E.H.和Lauer，M.S.（2008）。随机生存森林。附录申请。统计数字2 841-860·Zbl 1149.62331号 ·doi:10.1214/08-AOAS169
[26] Kleiner，A.、Talwalkar，A.、Sarkar，P.和Jordan，M.I.（2014）。用于海量数据的可扩展引导程序。J.R.统计社会服务。B.统计方法。76 795-816. ·doi:10.1111/rssb.12050
[27] Lin，Y.和Jeon，Y.（2006）。随机森林和自适应最近邻。J.Amer。统计师。协会101 578-590·Zbl 1119.62304号 ·doi:10.1198/0162145000001230
[28] Meinshausen，N.（2006年）。分位数回归森林。J.马赫。学习。第7 983-999号决议·Zbl 1222.68262号
[29] Mentch，L.和Hooker，G.（2014年）。集合树和clts：用于监督学习的统计推断。可在上获取。arXiv公司：1404.6473
[30] 诺贝尔（1996）。使用数据相关分区的直方图回归估计。安。统计师。24 1084-1105. ·Zbl 0862.62038号 ·doi:10.1214/aos/1032526958
[31] Politis，D.N.、Romano，J.P.和Wolf，M.（1999）。二次采样。纽约州施普林格·Zbl 0931.62035号
[32] Prasad，A.M.、Iverson，L.R.和Liaw，A.（2006）。更新的分类和回归树技术：用于生态预测的袋装和随机森林。生态系统9 181-199。
[33] Scornet，E.（2014）。关于随机森林的渐近性。可在上获取。arXiv:1409.2090
[34] Scornet，E.、Biau，G.和Vert，J.（2015）。补充“随机森林的一致性”·Zbl 1317.62028号 ·doi:10.1214/15-AOS1321
[35] Shotton，J.、Sharp，T.、Kipman，A.、Fitzgibbon，A.、Finocchio，M.、Blake，A.、Cook，M.和Moore，R.（2013）。从单深度图像中实时识别部分人体姿势。通信ACM 56 116-124。
[36] Stone，C.J.（1977年）。一致非参数回归。安。统计师。5 595-645. ·Zbl 0366.62051号 ·doi:10.1214/aos/1176343886
[37] Stone，C.J.（1985）。加性回归和其他非参数模型。安。统计师。13 689-705·Zbl 0605.62065号 ·doi:10.1214/aos/1176349548
[38] Svetnik，V.、Liaw，A.、Tong，C.、Culberson，J.C.、Sheridan，R.P.和Feuston，B.P.（2003年）。随机森林：用于复合分类和QSAR建模的分类和回归工具。化学杂志。Inf.计算。科学。43 1947-1958.
[39] Wager，S.（2014）。随机森林的渐近理论。可在上获取。arXiv:1405.0352
[40] Wager，S.、Hastie，T.和Efron，B.（2014年）。随机森林的置信区间：折刀和无穷小折刀。J.马赫。学习。第15号决议1625-1651·Zbl 1319.62132号
[41] Zhu，R.，Zeng，D.和Kosorok，M.R.（2012）。强化学习树。北卡罗来纳大学技术报告·Zbl 1374.68466号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。