计算机科学>机器学习
标题: 函数逼近和PDE解的神经网络诱导高斯过程回归
摘要: 神经网络诱导高斯过程(NNGP)回归既继承了深度神经网络(deep NNs)的高表达性,又继承了高斯过程(GPs)的不确定性量化特性。 我们将当前的NNGP推广为首先包含更多的超参数,然后通过最大似然估计训练模型。 与之前针对分类的NNGP工作不同,这里我们将广义NNGP应用于函数逼近和求解偏微分方程(PDE)。 特别地,我们发展了一个解析迭代公式来计算具有误差函数非线性的深度神经网络诱导的广义预测协方差函数。 我们将广义NNGP用于函数逼近和PDE解的性能与GP和全连通NN的性能进行了比较。 我们发现,对于光滑函数,广义NNGP可以获得与GP相同的精度,而NNGP和GP都优于深度NN。 对于非光滑函数,广义NNGP优于GP,并可与深NN媲美或优于深NN。