×

贝叶斯线性逆问题的最优低阶近似。 (英语) Zbl 1325.62060号

摘要:在反问题的贝叶斯方法中,相对于先验,数据通常只在参数空间的低维子空间上提供信息。通过使用该子空间来描述和近似参数的后验分布,可以节省大量的计算量。我们首先研究了后验协方差矩阵作为先验协方差阵低秩更新的近似。我们基于负对数似然Hessian定义的矩阵束的主导特征方向和先验精度,证明了一个特定更新对于一类广泛的损失函数的最优性。这类包括对称正定矩阵的Förstner度量,以及相关分布之间的Kullback-Leibler散度和Hellinger距离。我们还提出了两种后验均值的快速近似,并证明了它们对于平方误差损失下的加权Bayes风险的最优性。这些近似是以离线-在线的方式部署的,其中更昂贵但与数据无关的离线计算之后是快速的在线评估。因此,当需要对多个数据集进行重复的后验均值评估时,这些近似值特别有用。我们用几个数值例子证明了我们的理论结果,包括高维X射线层析成像和逆热传导问题。在这两个示例中,可以利用推理问题的固有低维结构,同时生成与在全空间中计算的解基本上无法区分的结果。

MSC公司:

2015年1月62日 贝叶斯推断
15A29号 线性代数中的反问题
92 C55 生物医学成像和信号处理
68周25 近似算法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] V.Akçelik、G.Biros、O.Ghattas、J.Hill、D.Keyes和B.van Bloemen Waanders,《PDE约束优化的并行算法》,并行过程。科学。计算。,20(2006),第291页。
[2] H.Auvinen、J.M.Bardsley、H.Haario和T.Kauranne,{使用有限内存BFGS方法的大尺度卡尔曼滤波},电子。事务处理。数字。分析。,35(2009年),第217-233页·Zbl 1188.65084号
[3] H.Auvinen、J.M.Bardsley、H.Haario和T.Kauranne,{变分卡尔曼滤波器和使用有限内存BFGS}的有效实现,国际。J.数字。《液体方法》,64(2010),第314-335页·Zbl 1197.65213号
[4] Z.Bai、J.Demmel、J.Dongarra、A.Ruhe和H.van der Vorst,《代数特征值问题求解的模板:实用指南》,《软件环境》。工具11,SIAM,费城,2000年·Zbl 0965.65058号
[5] R.Barrett、M.W.Berry、T.F.Chan、J.Demmel、J.Donato、J.Dongarra、V.Eijkhout、R.Pozo、C.Romine和H.van der Vorst,《线性系统解的模板:迭代方法的构建块》,SIAM,费城,1994年·Zbl 0814.65030号
[6] T.Bui-Than,C.Burstedde,O.Ghattas,J.Martin,G.Stadler,L.Wilcox,{由PDEs控制的贝叶斯反问题的极限尺度UQ},《高性能计算、网络、存储和分析国际会议论文集》,IEEE计算机社会出版社,2012年,第3页。
[7] T.Bui-Thanh和O.Ghattas,《逆散射问题的Hessian分析:》。声波的逆形状散射},反问题,28(2012),055001·Zbl 1239.78006号
[8] T.Bui-Thanh、O.Ghattas和D.Higdon,《概率密度近似的自适应Hessian非平稳高斯过程响应面方法及其在大规模反问题贝叶斯解中的应用》,SIAM J.Sci。计算。,34(2012年),第A2837-A2871页·Zbl 1257.62035号
[9] T.Bui Thanh、O.Ghattas、J.Martin和G.Stadler,{\it无限维贝叶斯反演问题的计算框架第I部分:线性化情况,应用于全球地震反演},SIAM J.Sci。计算。,35(2013年),第A2494-A2523页·Zbl 1287.35087号
[10] D.Calvetti,{从贝叶斯反演角度研究线性离散不适定问题的预处理迭代方法},J.Compute。申请。数学。,198(2007),第378-395页·Zbl 1101.65043号
[11] D.Calvetti,B.Lewis,and L.Reichel,{关于GMRES方法的正则化性质},Numer。数学。,91(2002),第605-625页·Zbl 1022.65044号
[12] D.Calvetti、D.McGivney和E.Somersalo,{利用结构信息进行电阻抗断层成像的左右预处理},逆向问题,28(2012),055015·Zbl 1243.65133号
[13] D.Calvetti和E.Somersalo,《线性系统的先决条件》,《反问题》,21(2005),第1397页·Zbl 1087.65044号
[14] B.P.Carlin和T.A.Louis,《数据分析的贝叶斯方法》,第三版,查普曼和霍尔/CRC出版社,佛罗里达州博卡拉顿,2009年·Zbl 1165.62003号
[15] R.A.Christensen,《复杂问题的平面答案:线性模型理论》,Springer-Verlag出版社,柏林,1987年·Zbl 0645.62076号
[16] J.Chung和M.Chunng,{图像处理中计算最优低阶矩阵近似},《信号、系统和计算机Asilomar会议论文集》,IEEE,纽约,2013年,第670-674页。
[17] J.Chung和M.Chunng,{计算最优低秩正则逆矩阵的有效方法},反问题,30(2014),114009·Zbl 1305.65130号
[18] J.Chung、M.Chunng和D.P.O'Leary,《为反问题设计最优谱滤波器》,SIAM J.Sci。计算。,33(2011年),第3132-3152页·Zbl 1269.65040号
[19] J.Chung、M.Chunng和D.P.O'Leary,{利用校准数据进行图像反褶积的最佳滤波器,数据采集误差},J.Math。成像视觉。,44(2012),第366-374页·Zbl 1255.94011号
[20] J·钟,M·钟,D·P·奥利里,{最优正则化低阶逆逼近},线性代数应用。,468(2015),第260-269页·Zbl 1307.65048号
[21] T.Cui、K.J.H.Law和Y.Marzouk,{it Dimension-independent likelihod-informed MCMC},arXiv:1411.36882014·Zbl 1349.65009号
[22] T.Cui、J.Martin、Y.Marzouk、A.Solonen和A.Spantini,{非线性反问题的似然信息降维},反问题,30(2014),114015·Zbl 1310.62030
[23] J.Cullum和W.Donath,《计算大型稀疏实对称矩阵的q代数最大本征值和相应本征空间的块Lanczos算法》,载于《IEEE决策与控制会议记录,包括第13届自适应过程研讨会》,IEEE,纽约,1974年,第505-509页。
[24] C.R.Dietrich和G.N.Newsam,{通过协方差矩阵的循环嵌入快速准确地模拟平稳高斯过程},SIAM J.Sci。计算。,18(1997),第1088-1107页·Zbl 0890.65149号
[25] L.Dykes和L.Reichel,{线性离散不适定问题求解的简化gsvd计算},J.Compute。申请。数学。,255(2014),第15-27页·Zbl 1291.65117号
[26] C.Eckart和G.Young,《一个矩阵与另一个低阶矩阵的近似》,《心理学》,第1期(1936年),第211-218页·JFM 62.1075.02标准
[27] G.Evensen,《数据同化》,施普林格出版社,柏林,2007年·Zbl 1157.86001号
[28] H.P.Flath、L.Wilcox、V.Akçelik、J.Hill、B.van Bloemen Waanders和O.Ghattas,基于低阶部分Hessian近似的大规模线性反问题中贝叶斯不确定性量化的快速算法,SIAM J.Sci。计算。,33(2011),第407-432页·Zbl 1229.65174号
[29] W.Foörstner和B.Moonen,{协方差矩阵的度量},《大地测量学:第三个千年的挑战》,柏林斯普林格,2003年,第299-309页。
[30] C.Fox和A.Parker,{切比雪夫加速吉布斯采样器方差收敛},SIAM J.Sci。计算。,36(2014),第A124-A147页·Zbl 1291.65097号
[31] S.Friedland和A.Torokhti,{广义秩约束矩阵近似},SIAM J.矩阵分析。申请。,29(2007),第656-659页·Zbl 1144.15004号
[32] G.H.Golub和C.F.Van Loan,《矩阵计算》,第3卷,约翰霍普金斯大学出版社,巴尔的摩,2012年·兹比尔1268.65037
[33] G.H.Golub和R.Underwood,{计算特征值的块Lanczos方法},数学。《软件》,3(1977年),第361-377页·Zbl 0407.68040号
[34] G.H.Golub和Q.Ye,对称广义特征值问题的逆自由预条件krylov子空间方法,SIAM J.Sci。计算。,24(2002),第312-334页·兹伯利1016.65017
[35] N.Halko、P.Martinsson和J.A.Tropp,《寻找随机结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号
[36] M.Hanke,{不适定问题的共轭梯度型方法},Pitman Res.数学注释。序列号。327,英国哈洛朗曼,1995年·Zbl 0830.65043号
[37] M.Hanke和P.C.Hansen,{大规模问题的正则化方法},Surv。数学。印第安纳州,3(1993),第253-315页·Zbl 0805.65058号
[38] P.C.Hansen,{it正则化,GSVD和截断GSVD},BIT,29(1989),第491-504页。
[39] P.C.Hansen,秩亏和离散不适定问题:线性反演的数值方面,Monogr。数学。模型。计算。4,SIAM,费城,1998年。
[40] J.Heikkinen,{X射线层析成像中的统计反演理论},硕士论文,芬兰拉彭兰塔科技大学,2008年。
[41] M.R.Hestenes,{it Pseudoinversus and conjugation gradients},美国医学委员会,18(1975),第40-43页·Zbl 0304.65029号
[42] M.R.Hestenes和E.Stiefel,《求解线性系统的共轭梯度方法》,第49卷,华盛顿特区国家标准局,1952年·Zbl 0048.09901号
[43] L.Homa、D.Calvetti、A.Hoover和E.Somersalo,《MEG时间序列中用于源分离的贝叶斯预处理CGLS》,SIAM J.Sci。计算。,35(2013年),第B778-B798页·Zbl 1273.35315号
[44] Y.Hua和W.Liu,{广义Karhunen-Loève变换},IEEE信号处理。莱特。,5(1998年),第141-142页。
[45] W.James和C.Stein,{二次损失估计},《第四届伯克利数理统计与概率研讨会论文集》,第1卷,1961年,第361-379页·Zbl 1281.62026号
[46] W.Kahan和B.N.Parlett,{\it How Fart You Should You Go with the Lanczos Process},No UCB/ERL-M78/48,加州大学伯克利分校电子研究实验室,1978年·Zbl 0345.65017号
[47] J.Kaipio和E.Somersalo,《统计与计算反问题》,施普林格出版社,柏林,2005年·Zbl 1068.65022号
[48] R.E.Kalman,《线性滤波和预测问题的新方法》,《流体工程杂志》,82(1960),第35-45页。
[49] S.Kaniel,{线性代数中一些计算技术的估计},数学。公司。,(1966年),第369-378页·Zbl 0156.16202号
[50] C.Lanczos,{求解线性微分和积分算子特征值问题的迭代方法},美国政府新闻办公室,1950年·Zbl 0045.39702号
[51] E.L.Lehmann和G.Casella,{点估计理论},Springer-Verlag,柏林,1998年·Zbl 0916.62017号
[52] R.B.Lehoucq、D.C.Sorensen和C.Yang,《ARPACK用户指南:用隐式重启Arnoldi方法解决大规模特征值问题》,《软件环境》。工具6,SIAM,费城,1998年·Zbl 0901.65021号
[53] A.S.Lewis,《谱函数的导数》,数学。操作。Res.,21(1996),第576-588页·兹伯利0860.49017
[54] W.Li和O.A.Cirpka,{结构化和非结构化网格的有效地质统计反演方法},《水资源研究》,42(2006),W06402。
[55] C.Lieberman、K.Fidkowski、K.Willcox和B.van Bloemen Waanders,{基于Hessian的模型简化:大尺度反演和预测},国际。J.数字。《液体方法》,71(2013),第135-150页·Zbl 1431.65155号
[56] C.Lieberman、K.Willcox和O.Ghattas,{大规模统计逆问题的参数和状态模型简化},SIAM J.Sci。计算。,32(2010年),第2523-2542页·Zbl 1217.65123号
[57] F.Lindgren,H.Rue,and J.Lindstro­m,{it高斯场与高斯马尔可夫随机场之间的明确联系:随机偏微分方程方法},J.R.Stat.Soc.Ser。B、 73(2011),第423-498页·Zbl 1274.62360号
[58] D.V.Lindley和A.F.M.Smith,{线性模型的贝叶斯估计},J.R.Stat.Soc.Ser。B、 34(1972),第1-41页·Zbl 0246.62050号
[59] D.C.Liu和J.Nocedal,{关于大规模优化的有限内存BFGS方法},数学。程序。,45(1989),第503-528页·Zbl 0696.90048号
[60] J.Martin,L.Wilcox,C.Burstede,and O.Ghattas,{it大规模统计反演问题的随机牛顿MCMC方法及其在地震反演中的应用},SIAM J.Sci。计算。,34(2012),第A1460-A1487页·Zbl 1250.65011号
[61] Y.Marzouk和H.N.Najm,{反问题中贝叶斯推理的降维和多项式混沌加速},J.Compute。物理。,228(2009),第1862-1902页·Zbl 1161.65308号
[62] X.Meng,M.A.Saunders和M.W.Mahoney,{它是LSRN:强过定或欠定系统的并行迭代求解器},SIAM J.Sci。计算。,36(2014年),第C95-C118页·Zbl 1298.65053号
[63] E.H.Moore,{\it关于一般代数矩阵}的倒数,布尔。阿默尔。数学。Soc.,26,第394-395页。
[64] J.Nocedal,{用有限存储更新拟Newton矩阵},数学。计算。,35(1980),第773-782页·Zbl 0464.65037号
[65] C.C.Paige,{\it超大型稀疏矩阵的特征值和特征向量的计算},伦敦大学博士论文,1971年。
[66] C.C.Paige,{本征问题Lanczos方法的计算变体},IMA J.Appl。数学。,10(1972年),第373-381页·兹比尔0253.65020
[67] C.C.Paige,{对称矩阵三对角化Lanczos算法的误差分析},IMA J.Appl。数学。,18(1976年),第341-349页·Zbl 0347.65018号
[68] C.C.Paige和M.A.Saunders,《走向广义奇异值分解》,SIAM J.Numer。分析。,18(1981),第398-405页·Zbl 0471.65018号
[69] C.C.Paige和M.A.Saunders,{算法583:LSQR:稀疏线性方程和最小二乘问题},ACM Trans。数学。《软件》,8(1982),第195-209页。
[70] L.Pardo,{基于发散测度的统计推断},CRC出版社,佛罗里达州博卡拉顿,2005年·Zbl 1118.62008号
[71] A.Parker和C.Fox,{带共轭梯度的Krylov空间中的抽样高斯分布},SIAM J.Sci。计算。,34(2012),第B312-B334页·Zbl 1246.65057号
[72] R.Penrose,{\it矩阵的广义逆},数学。程序。剑桥菲洛斯。《社会学杂志》,51(1955),第406-413页·Zbl 0065.24603号
[73] Y.Saad,{关于Lanczos和block-Lanczos方法的收敛速度},SIAM J.Numer。分析。,17(1980年),第687-706页·Zbl 0456.65016号
[74] A.H.Sameh和J.A.Wisniewski,{广义特征值问题的迹最小化算法},SIAM J.Numer。分析。,19(1982),第1243-1259页·Zbl 0493.65017号
[75] C.Schillings和C.Schwab,《计算贝叶斯反演中的缩放极限》,研究报告2014-26,ETH-Zu¨rich,2014年·Zbl 1358.65013号
[76] A.Solonen、H.Haario、J.Hakkarainen、H.Auvinen、I.Amour和T.Kauranne,使用有限内存BFGS的变分集合卡尔曼滤波,Electron。事务处理。数字。分析。,39(2012),第271-285页·兹比尔1321.93060
[77] D.Sondermann,{秩限制下矩阵方程的最佳近似解},Statist。论文,27(1986),第57-66页·Zbl 0588.62103号
[78] G.W.Stewart,{随机正交矩阵的有效生成及其在条件估计中的应用},SIAM J.Numer。分析。,17(1980),第403-409页·Zbl 0443.65027号
[79] A.M.Stuart,《反问题:贝叶斯观点》,《数值学报》。,19(2010年),第451-559页·Zbl 1242.65142号
[80] A.Tikhonov,《不正确公式化问题的解决方案和正则化方法》,苏联数学。道克。,5(1963年),第1035-1038页·Zbl 0141.11001号
[81] C.F.Van Loan,{广义奇异值分解},SIAM J.Numer。分析。,13(1976年),第76-83页·Zbl 0338.65022号
[82] A.T.A.Wood和G.Chan,《[0,1]d}中平稳高斯过程的模拟》,J.Compute。图表。统计学。,3(1994年),第409-432页。
[83] S.J.Wright和J.Nocedal,《数值优化》,第2卷,Springer,纽约,1999年·Zbl 0930.65067号
[84] Y.Yue和P.L.Speckman,{非平稳空间高斯马尔可夫随机场},J.Compute。图形统计。,19(2010年),第96-116页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。