×
穆尔塔达，贾瓦德;盖法斯，斯特芬;二湾蝎子

蒙德里安树木和森林的最小最优速率。 （英语） Zbl 1455.62072号

Ann.统计。 48，第4期，2253-2276（2020）.
本文的主要贡献是双重的。首先，在控制细胞直径和分布的情况下，推导了蒙德里安树和森林的一致性和收敛速度。其次，证明了这种特殊的随机森林在任意维上都能达到极小极大率。这是对任意维随机森林方法理论的首次贡献。需要注意的是，对于大量的特征，（s）-Hölder回归（s in（0,2]）的最小最大速率（O（n^{-2s/（2s+d）}）是缓慢的，考虑到稀疏性假设，研究随机森林算法很有意思。
审核人：丹尼斯·西多罗夫（伊尔库茨克）

引用于6文件

MSC公司：

62G08号 非参数回归和分位数回归
62C20个 统计决策理论中的Minimax过程
6220国集团 非参数推理的渐近性质
62H30型 分类和区分；聚类分析（统计方面）
68T05型 人工智能中的学习和自适应系统

关键词：

随机森林;最小最大速率;非参数估计;监督学习

软件：

巴蒂;倾斜RF;玻璃纤维;贝叶斯树
PDF格式BibTeX公司 XML格式引用
\textit｛J.Mourtada｝等人，Ann.Stat.48，第4号，2253-2276（2020；兹bl 1455.62072）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Arlot，S.（2008）。V-fold交叉验证改进：V-fold惩罚。ArXiv预印本。可从ArXiv:0802.0566获得。arXiv:0802.0566号
[2] Arlot，S.和Genuer，R.（2014）。纯随机森林偏倚分析。ArXiv预印本。可从ArXiv:1407.3939获得。arXiv:1407.3939
Zentralblatt数学：1402.62131
数字对象标识符：doi:10.1007/s11749-016-0484-4
·Zbl 1402.62131号 ·doi:10.1007/s11749-016-0484-4
[3] Athey，S.、Tibshirani，J.和Wager，S.（2019年）。广义随机森林。安。统计师。47 1148-1178. Zentralblatt数学：1418.62102
数字对象标识符：doi:10.1214/18-AOS1709
欧几里德项目：Euclid.aos/1547197251
·Zbl 1418.62102号 ·doi:10.1214/18-AOS1709
[4] Audibert，J.-Y.（2008）。渐进混合规则是次优偏差。高级神经信息处理。系统20 41-48。
[5] Biau，G.（2012）。随机森林模型分析。J.马赫。学习。第13号决议1063-1095。Zentralblatt数学：1283.62127
·Zbl 1283.62127号
[6] Biau，G.、Devroye，L.和Lugosi，G.（2008）。随机森林和其他平均分类器的一致性。J.马赫。学习。2015-2033年第9号决议。Zentralblatt数学：1225.62081
·Zbl 1225.62081号
[7] Biau，G.和Scornet，E.（2016）。随机森林导览。测试25 197-227。Zentralblatt数学：1402.62133
数字对象标识符：doi:10.1007/s11749-016-0481-7
·Zbl 1402.62133号 ·doi:10.1007/s11749-016-0481-7
[8] Breiman，L.（2001）。随机森林。机器。学习。45 5-32. Zentralblatt数学：1007.68152
数字对象标识符：doi:10.1023/A:1010933404324
·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[9] Breiman，L.（2010）。预测系综的一些无穷大理论。技术报告577，加州大学伯克利分校统计部。
[10] Chipman，H.A.、George，E.I.和McCulloch，R.E.（2010年）。BART：贝叶斯加性回归树。附录申请。统计数据4 266-298。Zentralblatt数学：1189.62066
数字对象标识符：doi:10.1214/09-AOAS285
欧几里德项目：Euclid.aoas/1273584455
·Zbl 1189.62066号 ·doi:10.1214/09-AOAS285
[11] Clémençon，S.、Depecker，M.和Vayatis，N.（2013年）。对森林进行排名。J.马赫。学习。第14号决议39-73。Zentralblatt数学：1307.68065
·兹比尔1307.68065
[12] Cui，Y.、Zhu，R.、Zhou，M.和Kosorok，M.（2017）。生存树和森林模型的一些渐近结果。ArXiv预印本。可从ArXiv:1707.09631获得。arXiv:1707.09631
[13] Denil，M.、Matheson，D.和de Freitas，N.（2013年）。联机随机林的一致性。第30届国际机器学习年会（ICML）会议记录1256-1264。
[14] Denil，M.、Matheson，D.和de Freitas，N.（2014年）。缩小差距：理论和实践中的随机森林。第31届国际机器学习年会（ICML）会议记录665-673。
[15] Devroye，L.、Györfi，L.和Lugosi，G.（1996）。模式识别的概率理论。数学应用（纽约）31。纽约州施普林格·Zbl 0853.68150号
[16] Domingos，P.和Hulten，G.（2000年）。挖掘高速数据流。知识发现和数据挖掘（KDD）会议记录71-80。
[17] Fernández-Delgado，M.、Cernadas，E.、Barro，S.和Amorim，D.（2014）。我们需要数百个分类器来解决实际的分类问题吗？J.马赫。学习。第15号决议3133-3181。Zentralblatt数学：1319.62005
·Zbl 1319.62005号
[18] Genuer，R.（2012）。纯随机森林中的方差减少。J.非参数。法令24 543-562。Zentralblatt数学：1254.62050
数字对象标识符：doi:10.1080/10485252.2012.677843
·Zbl 1254.62050号 ·doi:10.1080/10485252.2012.677843
[19] Geurts，P.、Ernst，D.和Wehenkel，L.（2006）。极度随机的树。机器。学习。63 3-42. Zentralblatt数学：1110.68124
数字对象标识符：doi:10.1007/s10994-006-6226-1
·Zbl 1110.68124号 ·doi:10.1007/s10994-006-6226-1
[20] Györfi，L.、Kohler，M.、Krzyzak，A.和Walk，H.（2002）。非参数回归的无分布理论。统计学中的斯普林格系列。纽约州施普林格·Zbl 1021.62024号
[21] Ishwaran，H.、Kogalur，U.B.、Blackstone，E.H.和Lauer，M.S.（2008年）。随机生存森林。附录申请。统计数字2 841-860。Zentralblatt数学：1149.62331
数字对象标识符：doi:10.1214/08-AOAS169
欧几里德项目：Euclid.aoas/1223908043
·Zbl 1149.62331号 ·doi:10.1214/08-AOAS169
[22] Klusowski，J.M.（2018）。随机森林模型的完整分析。ArXiv预印本。可从ArXiv:1805.02587获得。arXiv:1805.02587
[23] Lakshminarayanan，B.、Roy，D.M.和Teh，Y.W.（2014）。蒙德里安森林：高效的在线随机森林。高级神经信息处理。系统。27 3140-3148。
[24] Lakshminarayanan，B.、Roy，D.M.和Teh，Y.W.（2016）。当不确定性很重要时，蒙德里安森林用于大规模回归。第19届国际人工智能与统计会议（AISTATS）论文集。
[25] Meinshausen，N.（2006年）。分位数回归森林。J.马赫。学习。第7 983-999号决议。Zentralblatt数学：1222.68262
·Zbl 1222.68262号
[26] Mentch，L.和Hooker，G.（2016年）。通过置信区间和假设检验量化随机森林中的不确定性。J.马赫。学习。第17 26号决议。Zentralblatt数学：1360.62095
·Zbl 1360.62095号
[27] Menze，B.H.、Kelm，B.M.、Splitthoff，D.N.、Koethe，U和Hamprecht，F.A.（2011年）。在倾斜的随机森林上。在数据库机器学习和知识发现欧洲联合会议453-469。施普林格。
[28] Mourtada，J.、Gaíffas，S.和Scornet，E.（2017年）。网上蒙德里安森林的通用一致性和最小最大速率。高级神经信息处理。系统30 3759-3768。
[29] Mourtada，J.、Gaíffas，S.和Scornet，E.（2020年）。补充“蒙德里安树木和森林的最小最佳比率”https://doi.org/10.1214/19-AOS1886SUPP。
[30] Nemirovski，A.（2000年）。非参数统计主题。在《概率论和统计学讲座》（Saint-Flour，1998）中。数学课堂笔记。1738 85-277. 柏林施普林格。Zentralblatt数学：0998.62033
·兹比尔0998.62033
[31] Orbanz，P.和Roy，D.M.（2015年）。图、数组和其他可交换随机结构的贝叶斯模型。IEEE传输。模式分析。机器。智力。37 437-461.
[32] Roy，D.M.（2011）。概率规划中的可计算性、推理和建模。麻省理工学院博士论文。
[33] Roy，D.M.和Teh，Y.W.（2009年）。蒙德里安进程。高级神经信息处理。系统21 1377-1384。
[34] Saffari，A.、Leistner，C.、Santner，J.、Godec，M.和Bischof，H.（2009）。在线随机森林。在第三届IEEE ICCV在线计算机视觉研讨会上。
[35] Scornet，E.、Biau，G.和Vert，J.-P.（2015）。随机森林的一致性。安。统计师。43 1716-1741. Zentralblatt数学：1317.62028
数字对象标识符：doi:10.1214/15-AOS1321
欧几里德项目：Euclid.aos/1434546220
·Zbl 1317.62028号 ·doi:10.1214/15-AOS1321
[36] Stone，C.J.（1982）。非参数回归的最优全局收敛速度。安。统计师。10 1040-1053。Zentralblatt数学：0511.62048
数字对象标识符：doi:10.1214/aos/1176345969
欧几里德项目：Euclid.aos/1176345969
·Zbl 0511.62048号 ·doi:10.1214/aos/1176345969
[37] Taddy，M.A.、Gramacy，R.B.和Polson，N.G.（2011年）。用于学习和设计的动态树。J.Amer。统计师。协会106 109-123。Zentralblatt数学：1396.62158
数字对象标识符：doi:10.1198/jasa.2011.ap09769
·Zbl 1396.62158号 ·doi:10.1198/jasa.2011.ap09769
[38] Wager，S.和Athey，S.（2018年）。使用随机森林评估和推断异质处理效果。J.Amer。统计师。协会113 1228-1242。Zentralblatt数学：1402.62056
数字对象标识符：doi:10.1080/01621459.2017.1319839
·Zbl 1402.62056号 ·doi:10.1080/01621459.2017.1319839
[39] Wager，S.和Walther，G.（2015年）。回归树的自适应集中，适用于随机森林。ArXiv预印本。可从ArXiv:1503.06388获得。arXiv公司：1503.06388
[40] Wasserman，L.（2006）。所有非参数统计。统计学中的施普林格文本。纽约州施普林格市天顶广场数学：1099.62029
·Zbl 1099.62029号
[41] 杨，Y·Zbl 0962.62026号 ·数字对象标识代码：10.1109/18.796368
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。