基于覆盖树最小分离的数值稳定稀疏高斯过程
Alexander Terenin、David R.Burt、Artem Artemev、Seth Flaxman、Mark van der Wilk、Carl Edward Rasmussen、Hong Ge; 25(26):1−36, 2024.
摘要
高斯过程经常被部署为大型机器学习和决策系统的一部分，例如在地理空间建模、贝叶斯优化或潜在高斯模型中。在系统中，高斯过程模型需要以稳定可靠的方式执行，以确保它与系统的其他部分正确交互。在这项工作中，我们研究了基于诱导点的可伸缩稀疏近似的数值稳定性。为此，我们首先回顾了数值稳定性，并举例说明高斯过程模型可能不稳定的典型情况。基于插值文献中最初发展的稳定性理论，我们推导了诱导点上的充分条件和在某些情况下的必要条件，以使计算在数值上稳定。对于低维任务，例如地理空间建模，我们提出了一种自动计算满足这些条件的诱导点的方法。这是通过修改独立关注的覆盖树数据结构来实现的。此外，我们还提出了一种替代的稀疏近似，用于高斯似然回归，该近似权衡了少量性能以进一步提高稳定性。我们提供了示例，说明了计算稳定性与空间任务诱导点方法的预测性能之间的关系。
[腹肌]
[pdf格式][围兜] [代码]
