×

用于高维预测和变量选择的贝叶斯回归树。 (英语) Zbl 1398.62065号

摘要:决策树集合是在非参数回归问题中获得高质量预测的一种非常流行的工具。然而,许多常用的决策树集成方法未经修改,无法适应预测因子数量大于观测值数量的稀疏性。最近的一系列研究涉及由生成概率模型驱动的决策树集成的构建,最有影响力的方法是贝叶斯加性回归树(BART)框架,我们对此问题采取贝叶斯观点,并通过在回归树先验的分裂比例上放置一个稀疏性诱导Dirichlet超先验,展示了如何在能够适应预测因子稀疏性的决策树集合上构造先验。我们描述了模型中包含的预测因子数量的渐近分布,并说明了如何将此先验信息容易地并入现有的马尔可夫模型中链式蒙特卡罗方法。我们证明了我们的方法可以为每个预测器生成有用的后验包含概率,并说明了我们的算法相对于其他决策树集成方法在模拟数据集和实际数据集上的有用性。

MSC公司:

2015年1月62日 贝叶斯推断
62G08号 非参数回归和分位数回归
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Athreya,K.B。;Ney,体育。,分支过程《施普林格科学与商业媒体》,柏林-海德堡,196,(2012)
[2] 巴比里,M.M。;Berger,J.O.,最优预测模型选择,统计年刊, 32, 870-897, (2004) ·Zbl 1092.62033号
[3] Bhattacharya,A。;帕蒂,D。;Dunson,D.,使用多带宽高斯过程的各向异性函数估计,统计年刊, 42, 352-381, (2014) ·兹比尔1360.62168
[4] Bhattacharya,A。;帕蒂,D。;新南威尔士州皮莱。;Dunson,D.B.,Dirichlet-Laplace关于最佳收缩率的先验知识,美国统计协会杂志, 110, 1479-1490, (2015) ·Zbl 1373.62368号
[5] Biau,G.,随机森林模型分析,机器学习研究杂志,131063-1095,(2012年)·Zbl 1283.62127号
[6] Biau,G。;Devroye,L。;Lugosi,G.,《随机森林和其他平均分类器的一致性》,机器学习研究杂志, 9, 2015-2033, (2008) ·Zbl 1225.62081号
[7] 布莱奇,J。;Kapelner,A.,具有异方差参数模型的贝叶斯加性回归树,arXiv预打印arXiv:1402.5397, (2014)
[8] 布莱奇,J。;Kapelner,A。;E.I.乔治。;Jensen,S.T.,BART的变量选择:基因调控的应用,应用统计年鉴, 8, 1750-1781, (2014) ·Zbl 1304.62132号
[9] Breiman,L.,《随机森林》,机器学习, 45, 5-32, (2001) ·Zbl 1007.68152号
[10] Chipman,H.A。;E.I.乔治。;McCulloch,R.E.,贝叶斯CART模型搜索,美国统计协会杂志,93,935-948,(1998年)
[11] BART:贝叶斯加性回归树,应用统计年鉴, 4, 266-298, (2010) ·Zbl 1189.62066号
[12] Denison,D.G。;马利克,B.K。;Smith,A.F.,贝叶斯CART算法,生物特征, 85, 363-377, (1998) ·Zbl 1048.62502号
[13] 弗伦德,Y。;夏皮雷,R。;Abe,N.,助推简介,日本人工智能学会杂志,14771-780,(1999年)
[14] Friedman,J.H.,多元自适应回归样条,统计年刊, 19, 1-67, (1991) ·Zbl 0765.62064号
[15] 哈斯蒂,T。;Tibshirani,R.,Bayesian回火”(附评论),统计科学, 15, 196-223, (2000) ·Zbl 1059.62524号
[16] Hill,J.L.,因果推理的贝叶斯非参数建模,计算与图形统计杂志, 20, 217-240, (2011)
[17] Kapelner,A。;Bleich,J.,Bartmachine:使用贝叶斯加性回归树进行机器学习,统计软件杂志, 70, 1-40, (2016)
[18] 金多,B.P。;Wang,H。;Peña,E.a.,多项式概率贝叶斯加性回归树,斯达,5119-13112016年
[19] Lakshminarayanan,B。;罗伊·D·M。;Teh,Y.W.,蒙德里安森林:高效在线随机森林,神经信息处理系统研究进展, 3140-3148, (2014)
[20] AISTATS公司553561
[21] Mente,S。;Lombardo,F.,血脑屏障渗透的递归分区模型,计算机辅助分子设计杂志, 19, 465-481, (2005)
[22] Menze,B.H。;凯尔姆,B.M。;Splitthoff,D.N。;科特,美国。;佛罗里达州汉普雷希特。,欧洲机器学习和数据库知识发现联合会议《关于斜向随机森林》,453-469,(2011),柏林斯普林格
[23] Pratola,M.T.,《高效都市——贝叶斯回归树模型的黑斯廷斯提案机制》,贝叶斯分析, 11, 885-911, (2016) ·Zbl 1357.62178号
[24] 拉斯穆森,C.E。;威廉姆斯,C.K.I。,机器学习的高斯过程(自适应计算和机器学习),(2005),麻省理工学院出版社,马萨诸塞州剑桥
[25] 拉维库马尔,P。;拉弗蒂,J。;刘,H。;Wasserman,L.,稀疏加性模型,英国皇家统计学会杂志, 71, 1009-1030, (2009) ·Zbl 1411.62107号
[26] 罗奇科娃,V。;George,E.I.,EMVS:贝叶斯变量选择的EM方法,美国统计协会杂志, 109, 828-846, (2014) ·Zbl 1367.62049号
[27] 罗伊·D·M。;Teh,Y.W.,蒙德里安过程,神经信息处理系统研究进展, 1377-1384, (2009)
[28] Scornet,E。;Biau,G。;Vert,J.-P.,随机森林的一致性,统计年鉴, 43, 1716-1741, (2015) ·Zbl 1317.62028号
[29] Statnikov,A。;王,L。;Aliferis,C.F.,基于微阵列癌症分类的随机森林和支持向量机的综合比较,BMC生物信息学, 9, 1-10, (2008)
[30] Storlie,C.B。;邦德尔·H·D。;赖希,B.J。;Zhang,H.H.,曲面估计、变量选择和非参数预言属性,中国统计局, 21, 679-705, (2011) ·Zbl 1214.62044号
[31] Vanhatalo,J。;Riihimäki,J。;Hartikainen,J。;Jylänki,P。;托尔瓦宁,V。;Vehtari,A.,Gpstuff:高斯过程的贝叶斯建模,机器学习研究杂志, 14, 1175-1179, (2013) ·Zbl 1320.62010年
[32] Wager,S。;哈斯蒂,T。;Efron,B.,随机森林的置信区间:折刀和无穷小折刀,机器学习研究杂志, 15, 1625-1651, (2014) ·Zbl 1319.62132号
[33] Yang,Y。;Dunson,D.B.,Minimax最优贝叶斯聚合,arXiv预打印arXiv:1403.1345, (2014)
[34] Yang,Y。;Tokdar,S.T.,高维Minimax-最优非参数回归,统计年刊,43652-674,(2015)·Zbl 1312.62052号
[35] 朱,R。;曾博士。;Kosorok,M.R.,强化学习树,美国统计协会杂志, 110, 1770-1784, (2015) ·Zbl 1374.68466号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。