阿莱西奥·斯潘蒂尼;安蒂·索洛宁;崔天刚;詹姆斯·马丁;路易斯·特诺里奥;尤塞夫·马尔佐克 贝叶斯线性逆问题的最优低阶近似。 (英语) Zbl 1325.62060号 SIAM J.科学。计算。 37,第6号,A2451-A2487(2015). 摘要:在反问题的贝叶斯方法中,相对于先验,数据通常只在参数空间的低维子空间上提供信息。通过使用该子空间来描述和近似参数的后验分布,可以节省大量的计算量。我们首先研究了后验协方差矩阵作为先验协方差阵低秩更新的近似。我们基于负对数似然Hessian定义的矩阵束的主导特征方向和先验精度,证明了一个特定更新对于一类广泛的损失函数的最优性。这类包括对称正定矩阵的Förstner度量,以及相关分布之间的Kullback-Leibler散度和Hellinger距离。我们还提出了两种后验均值的快速近似,并证明了它们对于平方误差损失下的加权Bayes风险的最优性。这些近似是以离线-在线的方式部署的,其中更昂贵但与数据无关的离线计算之后是快速的在线评估。因此,当需要对多个数据集进行重复的后验均值评估时,这些近似值特别有用。我们用几个数值例子证明了我们的理论结果,包括高维X射线层析成像和逆热传导问题。在这两个示例中,可以利用推理问题的固有低维结构,同时生成与在全空间中计算的解基本上无法区分的结果。 引用于49文件 MSC公司: 2015年1月62日 贝叶斯推断 15A29号 线性代数中的反问题 92 C55 生物医学成像和信号处理 68周25 近似算法 关键词:反问题;贝叶斯推断;低阶近似;协方差近似;Förstner-Moonen度量;后验平均近似;贝叶斯风险;最优性 软件:LSQR公司;UTV公司;LSRN(LSRN);ARPACK公司;JDQR公司;L-BFGS公司;EIGIFP公司;规范化工具;JDQZ公司;CRAIG公司 PDF格式BibTeX公司 XML格式引用 \textit{A.Spantini}等人,SIAM J.Sci。计算。37,第6号,A2451--A2487(2015;Zbl 1325.62060) 全文: 内政部 arXiv公司 链接 参考文献: [1] V.Akçelik、G.Biros、O.Ghattas、J.Hill、D.Keyes和B.van Bloemen Waanders,《PDE约束优化的并行算法》,并行过程。科学。计算。,20(2006),第291页。 [2] H.Auvinen、J.M.Bardsley、H.Haario和T.Kauranne,{使用有限内存BFGS方法的大尺度卡尔曼滤波},电子。事务处理。数字。分析。,35(2009年),第217-233页·Zbl 1188.65084号 [3] H.Auvinen、J.M.Bardsley、H.Haario和T.Kauranne,{变分卡尔曼滤波器和使用有限内存BFGS}的有效实现,国际。J.数字。《液体方法》,64(2010),第314-335页·Zbl 1197.65213号 [4] Z.Bai、J.Demmel、J.Dongarra、A.Ruhe和H.van der Vorst,《代数特征值问题求解的模板:实用指南》,《软件环境》。工具11,SIAM,费城,2000年·Zbl 0965.65058号 [5] R.Barrett、M.W.Berry、T.F.Chan、J.Demmel、J.Donato、J.Dongarra、V.Eijkhout、R.Pozo、C.Romine和H.van der Vorst,《线性系统解的模板:迭代方法的构建块》,SIAM,费城,1994年·Zbl 0814.65030号 [6] T.Bui-Than,C.Burstedde,O.Ghattas,J.Martin,G.Stadler,L.Wilcox,{由PDEs控制的贝叶斯反问题的极限尺度UQ},《高性能计算、网络、存储和分析国际会议论文集》,IEEE计算机社会出版社,2012年,第3页。 [7] T.Bui-Thanh和O.Ghattas,《逆散射问题的Hessian分析:》。声波的逆形状散射},反问题,28(2012),055001·Zbl 1239.78006号 [8] T.Bui-Thanh、O.Ghattas和D.Higdon,《概率密度近似的自适应Hessian非平稳高斯过程响应面方法及其在大规模反问题贝叶斯解中的应用》,SIAM J.Sci。计算。,34(2012年),第A2837-A2871页·Zbl 1257.62035号 [9] T.Bui Thanh、O.Ghattas、J.Martin和G.Stadler,{\it无限维贝叶斯反演问题的计算框架第I部分:线性化情况,应用于全球地震反演},SIAM J.Sci。计算。,35(2013年),第A2494-A2523页·Zbl 1287.35087号 [10] D.Calvetti,{从贝叶斯反演角度研究线性离散不适定问题的预处理迭代方法},J.Compute。申请。数学。,198(2007),第378-395页·Zbl 1101.65043号 [11] D.Calvetti,B.Lewis,and L.Reichel,{关于GMRES方法的正则化性质},Numer。数学。,91(2002),第605-625页·Zbl 1022.65044号 [12] D.Calvetti、D.McGivney和E.Somersalo,{利用结构信息进行电阻抗断层成像的左右预处理},逆向问题,28(2012),055015·Zbl 1243.65133号 [13] D.Calvetti和E.Somersalo,《线性系统的先决条件》,《反问题》,21(2005),第1397页·Zbl 1087.65044号 [14] B.P.Carlin和T.A.Louis,《数据分析的贝叶斯方法》,第三版,查普曼和霍尔/CRC出版社,佛罗里达州博卡拉顿,2009年·Zbl 1165.62003号 [15] R.A.Christensen,《复杂问题的平面答案:线性模型理论》,Springer-Verlag出版社,柏林,1987年·Zbl 0645.62076号 [16] J.Chung和M.Chunng,{图像处理中计算最优低阶矩阵近似},《信号、系统和计算机Asilomar会议论文集》,IEEE,纽约,2013年,第670-674页。 [17] J.Chung和M.Chunng,{计算最优低秩正则逆矩阵的有效方法},反问题,30(2014),114009·Zbl 1305.65130号 [18] J.Chung、M.Chunng和D.P.O'Leary,《为反问题设计最优谱滤波器》,SIAM J.Sci。计算。,33(2011年),第3132-3152页·Zbl 1269.65040号 [19] J.Chung、M.Chunng和D.P.O'Leary,{利用校准数据进行图像反褶积的最佳滤波器,数据采集误差},J.Math。成像视觉。,44(2012),第366-374页·Zbl 1255.94011号 [20] J·钟,M·钟,D·P·奥利里,{最优正则化低阶逆逼近},线性代数应用。,468(2015),第260-269页·Zbl 1307.65048号 [21] T.Cui、K.J.H.Law和Y.Marzouk,{it Dimension-independent likelihod-informed MCMC},arXiv:1411.36882014·Zbl 1349.65009号 [22] T.Cui、J.Martin、Y.Marzouk、A.Solonen和A.Spantini,{非线性反问题的似然信息降维},反问题,30(2014),114015·Zbl 1310.62030 [23] J.Cullum和W.Donath,《计算大型稀疏实对称矩阵的q代数最大本征值和相应本征空间的块Lanczos算法》,载于《IEEE决策与控制会议记录,包括第13届自适应过程研讨会》,IEEE,纽约,1974年,第505-509页。 [24] C.R.Dietrich和G.N.Newsam,{通过协方差矩阵的循环嵌入快速准确地模拟平稳高斯过程},SIAM J.Sci。计算。,18(1997),第1088-1107页·Zbl 0890.65149号 [25] L.Dykes和L.Reichel,{线性离散不适定问题求解的简化gsvd计算},J.Compute。申请。数学。,255(2014),第15-27页·Zbl 1291.65117号 [26] C.Eckart和G.Young,《一个矩阵与另一个低阶矩阵的近似》,《心理学》,第1期(1936年),第211-218页·JFM 62.1075.02标准 [27] G.Evensen,《数据同化》,施普林格出版社,柏林,2007年·Zbl 1157.86001号 [28] H.P.Flath、L.Wilcox、V.Akçelik、J.Hill、B.van Bloemen Waanders和O.Ghattas,基于低阶部分Hessian近似的大规模线性反问题中贝叶斯不确定性量化的快速算法,SIAM J.Sci。计算。,33(2011),第407-432页·Zbl 1229.65174号 [29] W.Foörstner和B.Moonen,{协方差矩阵的度量},《大地测量学:第三个千年的挑战》,柏林斯普林格,2003年,第299-309页。 [30] C.Fox和A.Parker,{切比雪夫加速吉布斯采样器方差收敛},SIAM J.Sci。计算。,36(2014),第A124-A147页·Zbl 1291.65097号 [31] S.Friedland和A.Torokhti,{广义秩约束矩阵近似},SIAM J.矩阵分析。申请。,29(2007),第656-659页·Zbl 1144.15004号 [32] G.H.Golub和C.F.Van Loan,《矩阵计算》,第3卷,约翰霍普金斯大学出版社,巴尔的摩,2012年·兹比尔1268.65037 [33] G.H.Golub和R.Underwood,{计算特征值的块Lanczos方法},数学。《软件》,3(1977年),第361-377页·Zbl 0407.68040号 [34] G.H.Golub和Q.Ye,对称广义特征值问题的逆自由预条件krylov子空间方法,SIAM J.Sci。计算。,24(2002),第312-334页·兹伯利1016.65017 [35] N.Halko、P.Martinsson和J.A.Tropp,《寻找随机结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号 [36] M.Hanke,{不适定问题的共轭梯度型方法},Pitman Res.数学注释。序列号。327,英国哈洛朗曼,1995年·Zbl 0830.65043号 [37] M.Hanke和P.C.Hansen,{大规模问题的正则化方法},Surv。数学。印第安纳州,3(1993),第253-315页·Zbl 0805.65058号 [38] P.C.Hansen,{it正则化,GSVD和截断GSVD},BIT,29(1989),第491-504页。 [39] P.C.Hansen,秩亏和离散不适定问题:线性反演的数值方面,Monogr。数学。模型。计算。4,SIAM,费城,1998年。 [40] J.Heikkinen,{X射线层析成像中的统计反演理论},硕士论文,芬兰拉彭兰塔科技大学,2008年。 [41] M.R.Hestenes,{it Pseudoinversus and conjugation gradients},美国医学委员会,18(1975),第40-43页·Zbl 0304.65029号 [42] M.R.Hestenes和E.Stiefel,《求解线性系统的共轭梯度方法》,第49卷,华盛顿特区国家标准局,1952年·Zbl 0048.09901号 [43] L.Homa、D.Calvetti、A.Hoover和E.Somersalo,《MEG时间序列中用于源分离的贝叶斯预处理CGLS》,SIAM J.Sci。计算。,35(2013年),第B778-B798页·Zbl 1273.35315号 [44] Y.Hua和W.Liu,{广义Karhunen-Loève变换},IEEE信号处理。莱特。,5(1998年),第141-142页。 [45] W.James和C.Stein,{二次损失估计},《第四届伯克利数理统计与概率研讨会论文集》,第1卷,1961年,第361-379页·Zbl 1281.62026号 [46] W.Kahan和B.N.Parlett,{\it How Fart You Should You Go with the Lanczos Process},No UCB/ERL-M78/48,加州大学伯克利分校电子研究实验室,1978年·Zbl 0345.65017号 [47] J.Kaipio和E.Somersalo,《统计与计算反问题》,施普林格出版社,柏林,2005年·Zbl 1068.65022号 [48] R.E.Kalman,《线性滤波和预测问题的新方法》,《流体工程杂志》,82(1960),第35-45页。 [49] S.Kaniel,{线性代数中一些计算技术的估计},数学。公司。,(1966年),第369-378页·Zbl 0156.16202号 [50] C.Lanczos,{求解线性微分和积分算子特征值问题的迭代方法},美国政府新闻办公室,1950年·Zbl 0045.39702号 [51] E.L.Lehmann和G.Casella,{点估计理论},Springer-Verlag,柏林,1998年·Zbl 0916.62017号 [52] R.B.Lehoucq、D.C.Sorensen和C.Yang,《ARPACK用户指南:用隐式重启Arnoldi方法解决大规模特征值问题》,《软件环境》。工具6,SIAM,费城,1998年·Zbl 0901.65021号 [53] A.S.Lewis,《谱函数的导数》,数学。操作。Res.,21(1996),第576-588页·兹伯利0860.49017 [54] W.Li和O.A.Cirpka,{结构化和非结构化网格的有效地质统计反演方法},《水资源研究》,42(2006),W06402。 [55] C.Lieberman、K.Fidkowski、K.Willcox和B.van Bloemen Waanders,{基于Hessian的模型简化:大尺度反演和预测},国际。J.数字。《液体方法》,71(2013),第135-150页·Zbl 1431.65155号 [56] C.Lieberman、K.Willcox和O.Ghattas,{大规模统计逆问题的参数和状态模型简化},SIAM J.Sci。计算。,32(2010年),第2523-2542页·Zbl 1217.65123号 [57] F.Lindgren,H.Rue,and J.Lindstrom,{it高斯场与高斯马尔可夫随机场之间的明确联系:随机偏微分方程方法},J.R.Stat.Soc.Ser。B、 73(2011),第423-498页·Zbl 1274.62360号 [58] D.V.Lindley和A.F.M.Smith,{线性模型的贝叶斯估计},J.R.Stat.Soc.Ser。B、 34(1972),第1-41页·Zbl 0246.62050号 [59] D.C.Liu和J.Nocedal,{关于大规模优化的有限内存BFGS方法},数学。程序。,45(1989),第503-528页·Zbl 0696.90048号 [60] J.Martin,L.Wilcox,C.Burstede,and O.Ghattas,{it大规模统计反演问题的随机牛顿MCMC方法及其在地震反演中的应用},SIAM J.Sci。计算。,34(2012),第A1460-A1487页·Zbl 1250.65011号 [61] Y.Marzouk和H.N.Najm,{反问题中贝叶斯推理的降维和多项式混沌加速},J.Compute。物理。,228(2009),第1862-1902页·Zbl 1161.65308号 [62] X.Meng,M.A.Saunders和M.W.Mahoney,{它是LSRN:强过定或欠定系统的并行迭代求解器},SIAM J.Sci。计算。,36(2014年),第C95-C118页·Zbl 1298.65053号 [63] E.H.Moore,{\it关于一般代数矩阵}的倒数,布尔。阿默尔。数学。Soc.,26,第394-395页。 [64] J.Nocedal,{用有限存储更新拟Newton矩阵},数学。计算。,35(1980),第773-782页·Zbl 0464.65037号 [65] C.C.Paige,{\it超大型稀疏矩阵的特征值和特征向量的计算},伦敦大学博士论文,1971年。 [66] C.C.Paige,{本征问题Lanczos方法的计算变体},IMA J.Appl。数学。,10(1972年),第373-381页·兹比尔0253.65020 [67] C.C.Paige,{对称矩阵三对角化Lanczos算法的误差分析},IMA J.Appl。数学。,18(1976年),第341-349页·Zbl 0347.65018号 [68] C.C.Paige和M.A.Saunders,《走向广义奇异值分解》,SIAM J.Numer。分析。,18(1981),第398-405页·Zbl 0471.65018号 [69] C.C.Paige和M.A.Saunders,{算法583:LSQR:稀疏线性方程和最小二乘问题},ACM Trans。数学。《软件》,8(1982),第195-209页。 [70] L.Pardo,{基于发散测度的统计推断},CRC出版社,佛罗里达州博卡拉顿,2005年·Zbl 1118.62008号 [71] A.Parker和C.Fox,{带共轭梯度的Krylov空间中的抽样高斯分布},SIAM J.Sci。计算。,34(2012),第B312-B334页·Zbl 1246.65057号 [72] R.Penrose,{\it矩阵的广义逆},数学。程序。剑桥菲洛斯。《社会学杂志》,51(1955),第406-413页·Zbl 0065.24603号 [73] Y.Saad,{关于Lanczos和block-Lanczos方法的收敛速度},SIAM J.Numer。分析。,17(1980年),第687-706页·Zbl 0456.65016号 [74] A.H.Sameh和J.A.Wisniewski,{广义特征值问题的迹最小化算法},SIAM J.Numer。分析。,19(1982),第1243-1259页·Zbl 0493.65017号 [75] C.Schillings和C.Schwab,《计算贝叶斯反演中的缩放极限》,研究报告2014-26,ETH-Zu¨rich,2014年·Zbl 1358.65013号 [76] A.Solonen、H.Haario、J.Hakkarainen、H.Auvinen、I.Amour和T.Kauranne,使用有限内存BFGS的变分集合卡尔曼滤波,Electron。事务处理。数字。分析。,39(2012),第271-285页·兹比尔1321.93060 [77] D.Sondermann,{秩限制下矩阵方程的最佳近似解},Statist。论文,27(1986),第57-66页·Zbl 0588.62103号 [78] G.W.Stewart,{随机正交矩阵的有效生成及其在条件估计中的应用},SIAM J.Numer。分析。,17(1980),第403-409页·Zbl 0443.65027号 [79] A.M.Stuart,《反问题:贝叶斯观点》,《数值学报》。,19(2010年),第451-559页·Zbl 1242.65142号 [80] A.Tikhonov,《不正确公式化问题的解决方案和正则化方法》,苏联数学。道克。,5(1963年),第1035-1038页·Zbl 0141.11001号 [81] C.F.Van Loan,{广义奇异值分解},SIAM J.Numer。分析。,13(1976年),第76-83页·Zbl 0338.65022号 [82] A.T.A.Wood和G.Chan,《[0,1]d}中平稳高斯过程的模拟》,J.Compute。图表。统计学。,3(1994年),第409-432页。 [83] S.J.Wright和J.Nocedal,《数值优化》,第2卷,Springer,纽约,1999年·Zbl 0930.65067号 [84] Y.Yue和P.L.Speckman,{非平稳空间高斯马尔可夫随机场},J.Compute。图形统计。,19(2010年),第96-116页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。