• 语料库ID:233407837

无穷小梯度增强

@第{条Dombry2021缺陷GB，title={无穷小梯度增强}，author={Cl{\'e}ment Dombry和Jean-Jil Duchamps}，日志={ArXiv}，年份={2021}，体积={abs/2104.13208}，url＝｛https://api.sympicscholar.org/CorpusID:233407837｝}
这项工作引入了一类新的随机回归树，将完全随机树和额外树连接起来，并使用softmax分布进行二进制分割，并在连续函数空间中定义了一条平滑路径，沿着该路径，训练误差减小，残差保持居中，总变差得到很好的控制。
[PDF]语义阅读器

本文中的数字

25参考文献

线性L2-boosting算法在消失学习率渐近中的行为

证明了零学习率渐近的一个确定极限，并将其刻画为无穷维函数空间中线性微分方程的唯一解。

梯度推进优化

对梯度增强的两个广泛版本进行了深入分析，并介绍了从函数优化角度研究这些算法的一般框架。

提前停止推进：收敛性和一致性

本文研究了在基函数族的线性跨度上进行提前停止boosting的数值收敛性、一致性和统计收敛速度，并给出了一个严格的证明：对于线性可分问题，当让AdaBoost运行到收敛点时，AdaBoostic成为了L1-边值最大化器。

随机梯度增强

贪婪函数近似：梯度增强机。

针对基于任何拟合准则的加性展开，提出了一种通用的梯度下降推进范式，并针对回归的最小二乘、最小绝对偏差和Huber-M损失函数以及分类的多类逻辑似然给出了具体算法。

正则化Boosting分类器的收敛速度

结果表明，某些版本的boosting在高维logistic可加模型中尤其有效，并且在训练数据中添加有限的标记噪声在某些情况下可能会改善收敛性。

极随机树

一种用于监督分类和回归问题的新的基于树的集成方法，该方法包括在分裂树节点的同时对属性和切点选择进行强随机化，并建立完全随机化的树，其结构与学习样本的输出值无关。

特邀论文——加性逻辑回归：助推的统计观点

这项工作表明，这种看似神秘的增压现象可以用众所周知的统计原理来理解，即加性建模和最大似然法，并发展了更直接的近似方法，表明它们显示出与增压几乎相同的结果。

XGBoost：一个可扩展的树增强系统

本文针对稀疏数据提出了一种新的稀疏感知算法，针对近似树学习提出了加权分位数草图，并对缓存访问模式、数据压缩和分片进行了深入研究，以构建一个可扩展的树增强系统XGBoost。

增强系综的人口理论

证明了当终端节点数T大于D时，D维L2（P）空间中最简单的树是完备的，AdaBoost算法给出了一个收敛于Bayes风险的集合。