可调性:机器学习算法超参数的重要性

Philipp Probst,Anne-Laure Boulesteix,Bernd Bischl。

年份:2019年,数量:20,版本:53,页码:1−32


摘要

现代监督机器学习算法涉及超参数,在运行它们之前必须设置这些超参数。用于设置超参数的选项是软件包中的默认值、用户手动配置或通过调整过程将其配置为最佳预测性能。本文的目的是双重的。首先,我们从统计角度形式化了调优问题,定义了基于数据的默认值,并提出了量化算法超参数可调性的一般措施。其次,我们基于来自OpenML平台的38个数据集和六种常见的机器学习算法进行了大规模的基准测试研究。我们采用我们的措施来评估其参数的可调性。我们的结果产生了超参数的默认值,使用户能够决定是否值得执行可能耗时的调整策略,关注最重要的超参数,并选择足够的超参数空间进行调整。

PDF格式 BibTeX公司