马尺

R包horselule:具有规则结构的马蹄形正则化的树集合。我们提出了一个新的贝叶斯模型用于灵活的非线性回归和分类。该模型基于Friedman和Popescu[Ann]中的规则拟合方法。申请。Stat.2(2008)916--954]其中决策树和线性项的规则用于L1正则化回归。我们通过用马蹄形先验代替L1正则化来修改规则拟合,这是众所周知的,在保持重要信号基本不变的情况下,噪声预测器的积极收缩是众所周知的。当大量的规则被用作预测器时,这一点尤其重要,因为其中许多规则只会产生噪声。我们的horseshoe prior有一个额外的层次结构层,它对具有大量分裂的规则和只满足少数观察结果的规则应用了更多的先验收缩。我们的先验的强噪声收缩也使得在规则拟合中增加一组来自随机森林的树来补充规则,这给集成带来了一个理想的多样性。我们使用一个非常有效且易于实现的Gibbs取样器从后验分布中取样。在16个数据集上,新模型的性能优于RuleFit、BART和Random Forest等最新方法。该模型及其解释在著名的波士顿住房数据和用于癌症分类的基因表达数据上得到了证明。用于解释模型结果的后验抽样、预测和图形工具在一个公开的$t R$软件包中实现。