决策树的高效非自由优化

的一部分神经信息处理系统进展28（NIPS 2015）

作者

Mohammad Norouzi、Maxwell Collins、Matthew A.Johnson、David J.Fleet、Pushmet Kohli

摘要

决策树和随机森林在计算机视觉和机器学习中得到了广泛的应用。决策树归纳的标准算法根据一些分裂标准一次优化一个节点的分裂函数。这种贪婪的过程经常导致次优树。本文基于全局目标，提出了一种结合叶参数优化树各级分割函数的算法。我们证明了寻找决策树最优线性组合（斜）分裂的问题与带潜在变量的结构化预测有关，并且我们给出了树的经验损失的凹凸上界。计算提议的替代目标相对于每个训练样本的梯度是O（d^2），其中d是树的深度，因此训练深树是可行的。使用随机梯度下降进行优化，可以使用大型数据集进行有效训练。在几个分类基准上的实验表明，得到的非贪婪决策树性能优于贪婪决策树基准。