基于贝叶斯主动学习的自校正贝叶斯优化

的一部分神经信息处理系统进展36（NeurIPS 2023）主要会议轨道

作者

卡尔·赫瓦夫纳（Carl Hvarfner）、埃里克·赫尔斯滕（Erik Hellsten）、弗兰克·赫特（Frank Hutter）、路易吉·纳尔迪（Luigi Nardi）

摘要

高斯过程是贝叶斯优化和主动学习的首选模型。然而，它们高度依赖于精心选择的超参数来实现其全部潜力，并且在文献中很少有人致力于寻找好的超参数。我们演示了为GP选择好的超参数的影响，并给出了两个明确优先考虑超参数学习的捕获函数。基于统计距离的主动学习（SAL）考虑了由统计距离测量的后部样本之间的平均差异。SAL在贝叶斯主动学习的几个测试函数上表现优于最先进的技术。然后，我们介绍了自校正贝叶斯优化（SCoreBO），它扩展了SAL以同时执行贝叶斯最优化和主动学习。与普通BO相比，SCoreBO以更高的速度学习模型超参数，同时在传统基准上优于最新的贝叶斯优化方法。此外，我们还证明了自我校正在非典型贝叶斯优化任务中的重要性。