摘要
似然信息子空间(LIS)方法为降低贝叶斯推理中高维概率分布的维数提供了一条可行的途径。LIS识别了一个内在的低维线性子空间,其中目标分布与一些易处理的参考分布差别最大。这样的子空间可以使用对数似然函数梯度的Gram矩阵的主导特征向量来识别。然后,通过各种形式的似然函数边缘化来近似原高维目标分布,其中近似似然仅支持固有的低维子空间。这种近似使得推理算法的设计能够根据问题的表观维数进行次线性缩放。直观地说,近似的准确性以及推理算法的性能受到三个因素的影响,即识别子空间时的维数截断误差、估计Gram矩阵时的Monte Carlo误差以及构造边缘化时的MonteCarlo误差。这项工作建立了一个统一的框架来分析这三个因素及其相互作用。在温和的技术假设下,我们基于LIS原理为一系列现有的降维技术建立了误差界限。我们的误差范围也为这些方法的准确性提供了有用的见解。此外,我们还分析了LIS与马尔可夫链蒙特卡洛(MCMC)和序贯蒙特卡罗(SMC)等抽样方法的集成。我们还证明了我们的分析在高斯先验的线性逆问题上的适用性,这表明如果先验协方差是迹类算子,那么所有的估计都可以是维度无关的。最后,我们展示了我们对两个非线性逆问题的理论主张的各个方面。
资金筹措表
汤显堂的研究得到教育部学术研究基金R-146-000-292-114的支持。T.Cui承认澳大利亚研究委员会根据拨款DP210103092提供的支持。
致谢
作者还感谢匿名评审员在评审过程中提出的所有建议。
引用
下载引文
崔天刚。
新通。
“类似信息子空间方法的统一性能分析。”
伯努利
28
(4)
2788 - 2815,
2022年11月。
https://doi.org/10.3150/21-BEJ1437
问询处
收到日期:2021年1月1日;发布日期:2022年11月
欧几里德项目首次推出:2022年8月17日
数字对象标识符:10.3150/21-BEJ1437
关键词:近似误差,尺寸缩减,似然信息子空间,蒙特卡罗估计