雷扎·穆罕默德；马修·普拉托拉；莫瑞斯·卡普泰因 贝叶斯回归树模型的连续时间出生-死亡MCMC。 （英语） Zbl 1529.68264号 J.马赫。学习。物件。 21，第201号论文，第26页（2020年）. 摘要：决策树是一种灵活的模型，非常适合于许多统计回归问题。在回归树的贝叶斯框架中，需要马尔可夫链蒙特卡罗（MCMC）搜索算法根据树模型的后验概率生成样本。这种MCMC算法的关键部分是构造“好的”Metropolis-Hastings步骤来更新树拓扑。此类算法经常存在混合效果差和局部模式粘性问题；因此，算法收敛缓慢。迄今为止，作者主要使用离散时间的出生/死亡机制作为贝叶斯（和）回归树模型来探索树模型空间。这些算法在计算和收敛方面都是有效的，只有当拒绝率很低时，情况并非总是如此。我们通过开发一种基于连续时间出生-死亡马尔可夫过程的新型搜索算法来解决这个问题。搜索算法通过在对应于不同树结构的参数空间之间跳跃来探索树模型空间。跳跃发生在与出生-死亡事件相对应的连续时间内，这些事件被建模为独立的泊松过程。在该算法中，模型之间的移动总是可以接受的，这可以显著提高搜索算法的收敛性和混合性。我们为贝叶斯回归树模型的算法提供了理论支持，并通过仿真实例验证了其性能。 引用于1文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 60J22型 马尔可夫链中的计算方法 62G08号 非参数回归和分位数回归 2015年1月62日 贝叶斯推断 65二氧化碳 蒙特卡罗方法 关键词：贝叶斯回归树；决策树；连续时间MCMC；贝叶斯结构学习；出生-死亡过程；贝叶斯模型平均；贝叶斯模型选择 软件：BD图表 PDF格式BibTeX公司 XML格式引用 \textit{R.Mohammadi}等人，J.Mach。学习。第21号决议，第201号论文，第26页（2020年；Zbl 1529.68264） 全文： arXiv公司 链接 参考文献： [1] 希普拉·阿格拉瓦尔和纳文·戈亚尔。多臂土匪问题的汤普森抽样分析。InConference on Learning Theory，第39-1页，2012年。 [2] Timothy C Au。随机森林、决策树和分类预测：缺位问题。机器学习研究杂志，19（1）：1737-17662018·Zbl 1467.62111号 [3] 乔治·什拉德·比亚。随机森林模型分析。机器学习研究杂志，13（4月）：1063-10952012·Zbl 1283.62127号 [4] GÊrard Biau、Luc Devroye和Gޞbor Lugosi。随机森林和其他平均分类器的一致性。机器学习研究杂志，9（9）：2015-20332008·Zbl 1225.62081号 [5] 利奥·布雷曼（Leo Breiman）、杰罗姆·弗里德曼（Jerome H Friedman）、理查德·奥尔森（Richard A Olshen）和查尔斯·斯通（Charles J Stone）。分类和回归树。1984. ·Zbl 0541.62042号 [6] 奥利维尔·卡佩（Olivier Cappé）、克里斯蒂安·罗伯特（Christian P Robert）和托比亚斯·里登（Tobias Rydén）。可逆跳跃、生死和更一般的连续时间马尔可夫链蒙特卡罗采样器。英国皇家统计学会杂志：B辑（统计方法），65（3）：679-7002003·Zbl 1063.62133号 [7] 休·A·奇普曼（Hugh A Chipman）、爱德华·I·乔治（Edward I George）和罗伯特·E·麦库洛赫（Robert E McCulloch）。贝叶斯购物车模型搜索。美国统计协会杂志，93（443）：935-9481998。 [8] 休·A·奇普曼（Hugh A Chipman）、爱德华·I·乔治（Edward I George）和罗伯特·E·麦库洛赫（Robert E McCulloch）。贝叶斯树模型。机器学习，48（1）：299-32002·Zbl 0998.68072号 [9] Hugh A Chipman、Edward I George、Robert E McCulloch等。巴特：贝叶斯加性回归树。应用统计年鉴，4（1）：266-2982010·兹比尔1189.62066 [10] David A Cohn、Zoubin Ghahramani和Michael I Jordan。使用统计模型进行主动学习。《人工智能研究杂志》，1996年·Zbl 0900.68366号 [11] 格伦·迪亚斯（Glenn De'ath）和凯萨琳娜·法布里修斯（Katharina E Fabricius）。分类和回归树：一种强大而简单的生态数据分析技术。生态学，81（11）：3178-3192000。 [12] David GT Denison、Bani K Mallick和Adrian FM Smith。一种贝叶斯推车算法。《生物特征》，85（2）：363-3771998年·Zbl 1048.62502号 [13] 阿德里安·多布拉和雷扎·穆罕默德。对数线性模型选择和人员流动。应用统计年鉴，12（2）：815-8452018·Zbl 1405.62065号 [14] 迪安·埃克尔斯和莫里斯·卡普斯坦。Thompson sampling with the online bootstrap.arXiv预印本arXiv:1410.40092014。 [15] 迪安·埃克尔斯和莫里斯·卡普斯坦。行为科学中的Bootstrap-thompson抽样和序列决策问题。圣人公开赛，9（2）：2019年1月12日。 [16] 约翰·吉廷斯（John Gittins）、凯文·格拉泽布鲁克（Kevin Glazebrook）和理查德·韦伯（Richard Weber）。多武器强盗配置指数。John Wiley&Sons，2011年·Zbl 1401.90257号 [17] 罗伯特·B·葛兰西和赫伯特·K·H·李。贝叶斯树高斯过程模型及其在计算机建模中的应用。美国统计协会杂志，103（483）：1119-11302008·Zbl 1205.62218号 [18] 彼得·格林。可逆跳跃马尔可夫链蒙特卡罗计算和贝叶斯模型确定。《生物特征》，82（4）：711-7321995·Zbl 0861.62023号 [19] Max Hinne、Alex Lenkoski、Tom Heskes和Marcel van Gerven。使用条件贝叶斯因子对高斯图形模型进行有效采样。统计，3（1）：326-3362014。 [20] Balaji Lakshminarayanan、Daniel Roy和Yee Whye Teh。贝叶斯决策树的自顶向下粒子滤波。2013年国际机器学习会议，第280-288页。 [21] 安东尼奥·里纳尔诺（Antonio R Linero）。用于高维预测和变量选择的贝叶斯回归树。《美国统计协会杂志》，113（522）：626-6362018·Zbl 1398.62065号 [22] 布伦特·罗根（Brent R Logan）、罗德尼·斯巴帕尼（Rodney Sparapani）、罗伯特·麦克库洛赫（Robert E McCulloch）和普鲁肖塔姆·劳德（Purushottam W Laud）。使用贝叶斯加性回归树进行个性化治疗的决策和不确定性量化。医学研究中的统计方法，28（4）：1079-10932019。 [23] Abdolreza Mohammadi和Ernst C Wit。稀疏高斯图形模型中的贝叶斯结构学习。贝叶斯分析，10（1）：109-1382015·兹比尔1335.62056 [24] Abdolreza Mohammadi、Mohammaid-Rreza Salehi-Rad和Ernst C Wit。在具有可选第二服务的M/G/1队列中使用混合Gamma分布进行贝叶斯分析。计算统计学，28（2）：683-70012013·Zbl 1305.65064号 [25] 阿卜杜勒扎·穆罕默德（Abdolreza Mohammadi）、芬太·阿贝加兹（Fentaw Abegaz）、埃德温·范登·胡维尔（Edwin van den Heuvel）和恩斯特·维特（Ernst C.Wit）。使用高斯连接图模型对Dupuytren病进行贝叶斯建模。英国皇家统计学会期刊：C系列（应用统计学），66（3）：629-6452017a。 [26] Reza Mohammadi和Ernst C Wit。BDgraph：图形模型中贝叶斯结构学习的R包。《统计软件杂志》，89（3）：1-302019年。 [27] Reza Mohammadi、Helene Massam和Gerard Letac。贝叶斯图形高斯模型选择的归一化常数之比。arXiv预印本arXiv:1706.04416，110:116，2017b。 [28] 阿南塔·普拉萨德（Anantha M Prasad）、路易斯·艾弗森（Louis R Iverson）和安迪·刘（Andy Liaw）。更新的分类和回归树技术：用于生态预测的套袋和随机森林。生态系统，9（2）：181-1992006。 [29] 马修·普拉托拉（Matthew T Pratola）。贝叶斯回归树模型的高效大都市-黑斯廷斯提案机制。贝叶斯分析，11（3）：885-911，2016·Zbl 1357.62178号 [30] 马修·普拉托拉（Matthew T Pratola）、休·A·奇普曼（Hugh A Chipman）、詹姆斯·R·盖茨克（James R Gattiker）、大卫·M·希格顿（David M Higdon）、罗伯特·麦库洛赫（Robert McCulloch）和威廉·罗斯特（William N Rust）。并行贝叶斯加性回归树。《计算与图形统计杂志》，23（3）：830-8522014年。 [31] 克里斯·普雷斯顿。空间生灭过程。《国际统计学会公报》，46:371-3911977年·Zbl 0379.60082号 [32] Philipp Probst和Anne-Laure Boulesteix。调整或不调整随机森林中的树数。《机器学习研究杂志》，18:181-12017年·Zbl 1468.68164号 [33] 赫伯特·罗宾斯。序贯设计实验的一些方面。《赫伯特·罗宾斯文选》，169-177页。斯普林格，1985年。 [34] 克里斯蒂安·罗伯特。贝叶斯选择：从决策理论基础到计算实现。Springer科学与商业媒体，2007年·Zbl 1129.62003号 [35] 丹尼尔·D·斯莱特（Daniel D Sleator）、罗伯特·E·塔尔扬（Robert E Tarjan）和威廉·P·瑟斯顿（William P Thurston）。旋转距离、三角剖分和双曲线几何体。美国数学学会杂志，1（3）：647-6811988·兹伯利0653.51017 [36] 马修·斯蒂芬斯。成分数目未知的混合模型的贝叶斯分析——可逆跳跃方法的替代方法。《统计年鉴》，第40-74页，2000年·Zbl 1106.62316号 [37] Matthew A Taddy、Robert B Gramacy和Nicholas G Polson。用于学习和设计的动态树。美国统计协会杂志，106（493）：109-1232011·Zbl 1396.62158号 [38] 威廉·R·汤普森。考虑到两个样本的证据，一个未知概率超过另一个的可能性。《生物特征》，25（3/4）：285-2941933年·JFM 59.1159.03号文件 [39] 王南伟、Laurent Briollais和Helene Massam。用于混合图形模型学习的可扩展出生-死亡mcmc算法及其在基因组数据集成中的应用。arXiv预印arXiv:2005.041392020。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。