×
何靖宇;P.理查德·哈恩

正则化非线性回归的随机树系综。 （英语） Zbl 1514.68251号

美国统计协会。 118，编号541，551-570（2023）.
摘要：本文开发了一种新的非线性回归随机树集成方法，称为加速贝叶斯加性回归树或XBART。通过将贝叶斯建模的正则化和随机搜索策略与递归划分算法的计算效率技术相结合，XBART在预测和函数估计方面达到了最先进的性能。仿真研究表明，XBART提供了对均值函数的精确逐点估计，并且在各种测试函数上比BART、XGBoost和神经网络（使用Keras）等常用替代方法更快。此外，还证明了使用XBART初始化标准BART MCMC算法可以显著提高可信区间覆盖率并减少总运行时间。最后，建立了两个基本的理论结果：该模型的单树版本是渐近一致的，并且由该算法的集成版本生成的马尔可夫链具有唯一的平稳分布。

引用于1文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
62-08 统计问题的计算方法
2015年1月62日 贝叶斯推断
62J02型 一般非线性回归
65二氧化碳 蒙特卡罗方法

关键词：

贝叶斯主义者;机器学习;马尔科夫蒙特卡洛;回归树;监督学习

软件：

UCI-毫升;电子静态学习;轻型GBM;共形推理;巴蒂;XGBoost公司;SLIQ公司;贝叶斯树;护林员;捷运局;凯拉斯
PDF格式BibTeX公司 XML格式引用
\textit{J.He}和\textit{P.R.Hahn}，J.Am.Stat.Assoc.118，No.541，551--570（2023；Zbl 1514.68251）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Arzamasov，V。；Böhm，K。；Jochem，P.，《走向电网稳定性的简明模型》，2018年IEEE智能电网通信、控制和计算技术国际会议（SmartGridComm），1-6（2018），IEEE·doi:10.1109/SmartGridComm.2018.8587498
[2] Bekkerman，R.，“kdd杯比赛的现状和未来：局外人的观点”（2015）
[3] Breiman，L.，《随机森林，机器学习》，45，5-32（2001）·Zbl 1007.68152号 ·doi:10.1023/A:1010933404324
[4] 布雷曼，L。；弗里德曼，J。；Olshen，R。；Stone，C.J.，《分类和回归树》（1984），英国伦敦：查普曼和霍尔/CRC，英国伦敦·Zbl 0541.62042号
[5] Brownlee，J.，《Xgboost应用机器学习简介》。机器学习大师（2016）
[6] Candanedo，L.M。；费尔德海姆，V。；Deramaix，D.，“低能耗房屋、能源和建筑中电器能源使用的数据驱动预测模型，140，81-97（2017）·doi:10.1016/j.enbuild.2017.01.083
[7] Chen，T。；Guestrin，C.，XGBoost:一个可扩展的树推进系统，第22届ACM SIGKDD国际知识发现和数据挖掘会议论文集，785-794（2016），纽约：ACM，纽约·doi:10.1145/2939672.29339785
[8] Chipman，H.A。；E.I.乔治。；McCulloch，R.E.，“BART：贝叶斯加性回归树，应用统计年鉴，4266-298（2010）·Zbl 1189.62066号 ·doi:10.1214/09-AOAS285
[9] Cho，D。；Yoo，C。；我，J。；Cha，D.-H.，“城市地区极端气温数值天气预报模型预测的各种基于机器学习的偏差修正方法的比较评估，地球与空间科学，7（2020年）·doi:10.1029/2019EA000740
[10] Cholet，F.、Keras、GitHub（2015年）
[11] De Vito，S。；Massera，E。；Piga，M。；Martinotto，L。；Di Francia，G.，“城市污染监测场景中用于苯估计的电子鼻现场校准，传感器和致动器B:Chemical，129750-757（2008）·doi:10.1016/j.snb.2007.09.060
[12] 杜瓦，D。；Graff，C.，UCI机器学习库（2019），加利福尼亚州欧文：加利福尼亚大学信息与计算机科学学院，加利福尼亚州奥尔文
[13] Durrett，R.，《随机过程要领》，1（2016），瑞士：施普林格出版社，瑞士·Zbl 1378.60001号
[14] Friedman，J.H.，“贪婪函数近似：梯度推进机器，统计年鉴，291189-1232（2001）·Zbl 1043.62034号
[15] Friedman，J.H.，“随机梯度提升，计算统计与数据分析，38，367-378（2002）·Zbl 1072.65502号
[16] Györfi，L。；科勒，M。；克日扎克，A。；Walk，H.，《非参数回归的无分布理论》（2006），纽约：Springer Science&Business Media出版社，纽约
[17] 哈斯蒂，T。；Tibshirani，R。；弗里德曼，J。；Franklin，J.，“统计学习的要素：数据挖掘、推理和预测”，《数学智能》，第27期，第83-85页（2005年）·doi:10.1007/BF02985802
[18] 哈赞，T。；帕潘德里欧，G。；Tarlow，D.，《扰动、优化与统计》（2016），马萨诸塞州剑桥：麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1410.68015号
[19] He，J。；雅洛夫，S。；Hahn，P.R.，第22届国际人工智能与统计会议，XBART：加速贝叶斯加性回归树，1130-1138（2019），冲绳那霸：日本冲绳那哈
[20] 希尔，J。；Linero，A。；Murray，J.，“贝叶斯加性回归树：回顾与展望，统计及其应用年度回顾，7251-278（2020）·doi:10.1146/annurev-statistics-031219-041110
[21] Kaya，H。；Tüfekci°，P。；Uzun，E.，“预测燃气轮机的co和no x排放：新数据和基准Pems”，土耳其电气工程与计算机科学杂志，27，4783-4796（2019）
[22] Ke，G。；孟，Q。；Finley，T。；Wang，T。；Chen，W。；马伟（Ma，W.）。；Ye，Q。；Liu，T.-Y.，“LightGBM：一种高效的梯度提升决策树”，《神经信息处理系统的进展》，30，3146-3154（2017）
[23] Lei，J。；G'Sell，M。；里纳尔多，A。；Tibshirani，R.J。；Wasserman，L.，“回归的无分布预测推断，美国统计协会杂志，1131094-1111（2018）·Zbl 1402.62155号 ·doi:10.1080/01621459.2017.1307116
[24] Linero，A.R.，“基于树的贝叶斯方法综述，统计应用和方法通信，24，543-559（2017）·doi:10.29220/CSAM.2017.24.6.543
[25] Linero，A.R.，“用于高维预测和变量选择的贝叶斯回归树，美国统计协会杂志，113626-636（2018）·Zbl 1398.62065号
[26] 梅塔，M。；阿格拉瓦尔，R。；Rissanen，J.，扩展数据库技术国际会议，“SLIQ:数据挖掘的快速可扩展分类器，18-32（1996），柏林，海德堡：施普林格，柏林，海德堡
[27] Pafka，S.，《随机森林实施基准》（2015年）
[28] Rafiei，M.H。；Adeli，H.，“一种用于估计房地产单元销售价格的新型机器学习模型，建筑工程与管理杂志，14204015066（2016）·doi:10.1061/（ASCE）CO.1943-7862.0001047
[29] 拉纳，P.S。；Sharma，H。；巴塔查里亚，M。；Shukla，A.，“利用物理化学特性对建模蛋白质结构进行质量评估，生物信息学和计算生物学杂志，13，1550005（2015）·doi:10.1142/S021972015500055
[30] Scornet，E.公司。；Biau，G。；Vert，J.-P，“随机森林的一致性，统计年鉴，43，1716-1741（2015）·Zbl 1317.62028号 ·doi:10.1214/15-AOS1321
[31] Wright，M.N.和Ziegler，A.（2015），“Ranger:C++和R中高维数据随机森林的快速实现”，arXiv:1508.04409。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。