Ridgelet先验:贝叶斯神经网络先验规范的协方差函数方法

松原拓夫(Takuo Matsubara)、克里斯·J·奥茨(Chris J.Oates)、弗朗索瓦·西维尔·布里奥(François-Xavier Briol)。

年份:2021年,数量:22,版本:157,页码:1−57


摘要

贝叶斯神经网络试图将神经网络的强大预测性能与贝叶斯框架中与预测输出相关的不确定性的形式量化相结合,目前尚不清楚如何赋予网络参数一个在提升到网络输出空间时有意义的先验分布。提出了一种可能的解决方案,使用户可以为手头的任务设定一个合适的高斯过程协方差函数。我们的方法构建了网络参数的先验分布,称为脊波先验,它近似于网络输出空间中的假定高斯过程。与现有的神经网络和高斯过程之间的连接研究相比,我们的分析是非渐近的,提供了有限样本大小的误差范围。这建立了贝叶斯神经网络能够逼近协方差函数足够正则的任何高斯过程的普适性。我们的实验评估仅限于概念验证,其中我们证明了脊波先验在回归问题上可以优于非结构化先验,对于回归问题可以提供合适的高斯过程先验。

PDF格式 BibTeX公司