变分助推软树

Tristan Cinquin、Tammo Rukat、Philipp Schmidt、Martin Wistuba、Artur Bekasov
第26届国际人工智能与统计会议论文集，PMLR 206:5787-58012023年。

摘要

基于决策树的梯度提升机（GBM）在使用表格数据的回归和分类任务中始终显示出最先进的结果，通常优于深层神经网络。然而，这些模型没有提供校准良好的预测不确定性，这妨碍了它们在高风险应用中用于决策。众所周知，贝叶斯处理可以改进预测不确定性校准，但以前提出的贝叶斯GBM方法要么计算成本高昂，要么采用粗略近似。变分推理通常用于实现贝叶斯神经网络，但很难应用于GBM，因为用作弱学习器的决策树是不可微的。在本文中，我们建议使用带有软决策树的变分推理来实现贝叶斯GBM，这是Irsoy等人引入的标准决策树的一种完全可微的替代方案。我们的实验表明，变分软树和变分软GBM提供了有用的不确定性估计，同时保持良好的预测性能。与最先进的贝叶斯GBM相比，该模型在7/10表回归数据集中的测试可能性更高，在5/10数据集中改进了分布外检测。

引用本文

BibTeX公司
@会议记录{pmlr-v206-cinquin23a，title={变分增强软树}，作者={Cinquin、Tristan和Rukat、Tammo和Schmidt、Philipp和Wistuba、Martin和Bekasov、Artur}，booktitle＝{第26届国际人工智能与统计会议论文集}，页码={5787--5801}，年份={2023}，编辑＝{Ruiz，Francisco和Dy，Jennifer和van de Meent，Jan Willem}，体积={206}，series={机器学习研究论文集}，月={4月25日--27日}，publisher={PMLR}，pdf={https://proceedings.mlr.press/v206/cinquin23a/cinquin23a.pdf},url={https://proceedings.mlr.press/v206/cinquin23a.html},abstract={坡度提升机（GBM）基于决策树的方法在使用表格数据的回归和分类任务中一致地展示了最新的结果，通常优于深层神经网络。然而，这些模型没有提供校准良好的预测不确定性，这妨碍了它们在高风险应用中用于决策。众所周知，贝叶斯处理可以改进预测不确定性校准，但以前提出的贝叶斯GBM方法要么计算成本高昂，要么采用粗略近似。变分推理通常用于实现贝叶斯神经网络，但很难应用于GBM，因为用作弱学习器的决策树是不可微的。在本文中，我们建议使用带有软决策树的变分推理来实现贝叶斯GBM，这是Irsoy等人引入的标准决策树的一种完全可微的替代方案。我们的实验表明，变分软树和变分软GBM提供了有用的不确定性估计，同时保持良好的预测性能。与最新的贝叶斯GBM相比，该模型在7/10表回归数据集中的测试可能性更高，在5/10数据集中改进了分布外检测。}}
尾注
%0会议论文%T变分增强软树%特里斯坦·辛昆%坦莫·鲁卡特%菲利普·施密特%马丁·维斯图巴%阿图尔·贝卡索夫%第26届国际人工智能与统计会议论文集%C机器学习研究进展%D 2023年%E弗朗西斯科·鲁伊斯%E詹妮弗·戴伊%E Jan-Willem van de Meent公司%对于pmlr-v206-cinquin23a%我PMLR%电话5787-5801%U型https://proceedings.mlr.press/v206/cinquin23a.html%第206页%基于决策树的X Gradient boosting machines（GBMs）在使用表格数据的回归和分类任务中始终显示出最先进的结果，通常优于深层神经网络。然而，这些模型没有提供校准良好的预测不确定性，这妨碍了它们在高风险应用中用于决策。众所周知，贝叶斯处理可以改进预测不确定性校准，但以前提出的贝叶斯GBM方法要么计算成本高昂，要么采用粗略近似。变分推理通常用于实现贝叶斯神经网络，但很难应用于GBM，因为用作弱学习器的决策树是不可微的。在本文中，我们建议使用带有软决策树的变分推理来实现贝叶斯GBM，这是Irsoy等人引入的标准决策树的一种完全可微的替代方案。我们的实验表明，变分软树和变分软GBM提供了有用的不确定性估计，同时保持良好的预测性能。与7/10表格回归数据集中最先进的贝叶斯GBM相比，所提出的模型显示出更高的测试可能性，并在5/10数据集中改进了分布外检测。
亚太地区
Cinquin，T.、Rukat，T.，Schmidt，P.、Wistuba，M.和Bekasov，A..（2023年）。变异增强软树。第26届国际人工智能与统计会议论文集，英寸机器学习研究进展206:5787-5801网址：https://proceedings.mlr.press/v206/cinquin23a.html。

相关材料