高斯过程回归中稀疏谱变分近似的不确定性量化

@第{Nieman2022条不确定性QF,title={高斯过程回归中稀疏谱变分近似的不确定性量化},author={Dennis Nieman和Botond Szab{\oo}以及Harry van Zanten},journal={电子统计杂志},年份={2022},url={https://api.semanticscholar.org/CorpusID:254926612}}
研究了变分稀疏高斯过程回归模型的频率保证,导出了实现最小后验收缩率所需诱导变量数量的充分必要下界。

本文中的数字

具有布朗运动先验的稀疏变分高斯过程回归的点态不确定性量化

这项工作精确地刻画了渐近频率覆盖的特征,从而推断出该变分方法的可信集何时是保守的,何时是过度自信/误导的。

线性反问题的变分高斯过程

本文研究了高斯过程先验的变分贝叶斯方法求解线性逆问题,导出了一般情况下变分后验的后验收缩率,并证明了通过正确的调整过程可以获得极小极大估计率。

高维线性回归中低维参数去偏推理的变分Bayes方法

本文提出了一种可扩展的变分Bayes方法,用于稀疏线性回归中高维参数坐标的单个或低维子集的统计推断,并以Bernstein-von Mises定理的形式为估计和不确定性量化建立了相应的理论保证。

高斯过程回归中稀疏变分逼近的收缩率

研究了高斯过程回归模型中变分Bayes方法的理论性质,表明对于三个特定的协方差核,VB方法可以对足够多的适当选择的诱导变量实现最优、最小最大收缩率。

稀疏高斯过程回归的变分模型选择

稀疏近似的变分公式,通过最大化真对数边际似然的下限来联合推断诱导输入和核超参数。

分布高斯过程回归的最优恢复和不确定性量化

这项工作在非参数回归模型的背景下,导出了一系列用于一般GP先验的分布式方法的频率学家理论保证和限制,用于恢复和不确定性量化。

稀疏先验高维线性回归的变分Bayes

研究了稀疏高维线性回归中贝叶斯模型选择先验的平均场尖峰-板变分贝叶斯(VB)近似,表明它与其他最新的贝叶斯变量选择方法相比,工作得相当好。

变分后验分布的收敛速度

对于一类允许乘积测度混合结构的先验,本文提出了一种新的先验质量条件,在该条件下,广义平均场类的变分逼近误差由真后验的收敛速度决定。

高维logistic回归的尖峰变分贝叶斯算法

稀疏高维logistic回归中广泛使用的贝叶斯模型选择先验的平均场尖峰和平板VB近似,为VB后验和稀疏真值的预测损失提供了非渐近的理论保证,给出了最佳(minimax)收敛速度。

高斯过程回归中稀疏变分推理的收敛性

结果表明,对于带有M的高斯噪声回归模型,近似模型和精确后验任意小之间的KL收敛需要随N增长,以确保高质量的近似。

回火后验函数及其变分近似的集中

提出了一种证明矩阵完备分数后验函数和高斯VB的变分逼近集中的通用方法。

基于高斯过程先验的后验分布收缩率

当先验模型将对数密度建模为(分数积分)布朗运动时,基于平滑密度模型采样的后验分布收缩率取决于真实参数相对于高斯过程再生核希尔伯特空间的位置。

具有高斯先验的BAYESIAN逆问题

证明了非参数反问题中的后验分布与真参数的收缩率取决于参数的光滑性,以及参数的光滑度和尺度