最大信息贝叶斯优化的联合熵搜索

的一部分神经信息处理系统进展35（NeurIPS 2022）主要会议轨道

作者

卡尔·赫瓦夫纳、弗兰克·赫特、路易吉·纳尔迪

摘要

信息论贝叶斯优化技术由于其非近视特性，在优化代价高昂的黑盒函数方面已经变得很流行。熵搜索和预测熵搜索都考虑了输入空间中最优值的熵，而最近的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论捕获函数，它考虑了一个全新的量，即输入和输出空间上联合最优概率密度上的熵。为了纳入这一信息，我们考虑了对理想的最佳输入/输出对进行条件处理后熵的减少。最终的方法主要依赖于标准GP机器，并删除了通常与信息理论方法相关的复杂近似。凭借最小的计算开销，JES显示出卓越的决策能力，并在一系列任务中为信息理论方法提供最先进的性能。作为一种轻量级的方法，JES具有优越的结果，它为贝叶斯优化提供了一种新的go-to捕获功能。