崔天刚;童欣。 相似信息子空间方法的统一性能分析。 （英语） Zbl 1501.65002号 伯努利 28，第4期，2788-2815（2022）. 摘要：似然信息子空间（LIS）方法为降低贝叶斯推理中高维概率分布的维数提供了一条可行的途径。LIS识别了一个内在的低维线性子空间，其中目标分布与一些易处理的参考分布差别最大。这样的子空间可以使用对数似然函数梯度的Gram矩阵的主导特征向量来识别。然后，通过各种形式的似然函数边缘化来近似原高维目标分布，其中近似似然仅支持固有的低维子空间。这种近似使得推理算法的设计能够根据问题的表观维数进行次线性缩放。直观地说，近似的准确性以及推理算法的性能受到三个因素的影响，即识别子空间时的维数截断误差、估计Gram矩阵时的Monte Carlo误差以及构造边缘化时的MonteCarlo误差。这项工作建立了一个统一的框架来分析这三个因素及其相互作用。在温和的技术假设下，我们基于LIS原理为一系列现有的降维技术建立了误差界。我们的误差范围也为这些方法的准确性提供了有用的见解。此外，我们还分析了LIS与马尔可夫链蒙特卡洛（MCMC）和序贯蒙特卡罗（SMC）等抽样方法的集成。我们还证明了我们对具有高斯先验的线性反问题的分析的适用性，这表明，如果先验协方差是一个迹类算子，则所有估计都可以是维数相关的。最后，我们展示了我们对两个非线性逆问题的理论主张的各个方面。 引用于三文件 理学硕士： 65二氧化碳 蒙特卡罗方法 2015年1月62日 贝叶斯推断 关键词：近似误差;尺寸缩减;似然信息子空间;蒙特卡罗估计 软件：fda（右） PDF格式BibTeX公司 XML格式引用 \textit{T.Cui}和\textit{X.T.Tong}，伯努利28，No.4，2788--2815（2022；Zbl 1501.65002） 全文： 内政部 arXiv公司 链接 参考文献： [1] Agapiou，S.、Dashti，M.和Helin，T.（2021）。基于指数先验的后验分布收缩率。伯努利27 1616-1642. 10.3150/20-bej1285·Zbl 1469.62217号 [2] Agapiou，S.、Papaspiliopoulos，O.、Sanz Alonso，D.和Stuart，A.M.（2017）。重要性抽样：内在维度和计算成本。统计师。科学。32 405-431. 10.1214/17-STS611·Zbl 1442.62026号 [3] Agapiou，S.、Roberts，G.O.和Vollmer，S.J.（2018年）。无偏蒙特卡罗：难处理/无限维模型的后验估计。伯努利24 1726年-1786年。2011年10月15日至16日·Zbl 1419.62048号 [4] Andrieu，C.和Roberts，G.O.（2009年）。有效蒙特卡罗计算的伪边缘方法。Ann.Statist公司。37 697-725. 2014年7月10日-AOS574·Zbl 1185.60083号 [5] Andrieu，C.和Vihola，M.（2015）。伪边缘马尔可夫链蒙特卡罗算法的收敛性。附录申请。普罗巴伯。25 1030-1077. 10.1214/14-AAP1022·Zbl 1326.65012号 [6] Beskos，A.、Crisan，D.和Jasra，A.（2014）。高维序贯蒙特卡罗方法的稳定性。附录申请。普罗巴伯。24 1396-1445. 10.1214/13-AAP951·Zbl 1304.82070号 [7] Beskos，A.、Girolma，M.、Lan，S.、Farrell，P.E.和Stuart，A.M.（2017年）。无穷维反问题的几何MCMC。J.计算。物理学。335 327-351. 2016年10月10日/j.jcp.2016.12.041·Zbl 1375.35627号 [8] Beskos，A.、Jasra，A.、Law，K.、Marzouk，Y.和Zhou，Y.（2018）。多级序贯蒙特卡罗法，具有与维度相关的类似于hood的建议。SIAM/ASA J.不确定性。量化。6 762-786. 10.1137/17M1120993·Zbl 1395.82229号 [9] Bigoni，D.、Zahm，O.、Spantini，A.和Marzouk，Y.（2019年）。贪婪的推论和懒惰的映射层。ArXiv预印本。可从ArXiv:1906.00031获得。 [10] Bobkov，S.和Ledoux，M.（1997年）。指数分布的Poincaré不等式和Talagrand集中现象。普罗巴伯。理论相关领域107 383-400. 2007年10月7日/004400050090·Zbl 0878.60014号 [11] Bobkov，S.G.（1999）。对数压缩概率测度的等周不等式和解析不等式。Ann.遗嘱认证。27 1903-1921年。10.1214/aop/1022874820·Zbl 0964.60013号 [12] Bobkov，S.G.和Ledoux，M.（2000年）。从Brunn-Minkowski到Brascamp-Lieb，再到对数Sobolev不等式。地理。功能。分析。10 1028-1052. 2007年10月10日/PL00001645·Zbl 0969.26019号 [13] Bobkov，S.G.和Ledoux，M.（2009年）。Cauchy和其他凸测度的加权Poincaré-型不等式。安·普罗巴伯。37 403-427. 407年8月10日-214日·Zbl 1178.46041号 [14] Brascamp，H.J.和Lieb，E.H.（1976年）。关于Brunn-Minkowski和Prékopa-Leindler定理的推广，包括对数凹函数不等式，以及扩散方程的应用。J.功能。分析。22 366-389. 10.1016/0022-1236(76)90004-5 ·Zbl 0334.26009号 [15] Bui-Thanh，T.、Burstedde，C.、Ghattas，O.、Martin，J.、Stadler，G.和Wilcox，L.C.（2012年）。由偏微分方程控制的贝叶斯反问题的极值尺度UQ。在SC'12：高性能计算、网络、存储和分析国际会议记录1-11. 电气与电子工程师协会。 [16] Bui-Thanh，T.、Ghattas，O.、Martin，J.和Stadler，G.（2013）。无限维贝叶斯反问题的计算框架第一部分：线性化情况，及其在全球地震反演中的应用。SIAM J.科学。计算。35 A2494-A2523。10.1137/12089586X号·Zbl 1287.35087号 [17] Cai，T.T.和Hall，P.（2006）。函数线性回归中的预测。Ann.Statist公司。34 2159-2179. 2014年10月14日/009053606000000830·Zbl 1106.62036号 [18] Constantine，P.G.，Kent，C.和Bui-Thanh，T.（2016）。利用活动子空间加速马尔可夫链蒙特卡罗。SIAM J.科学。计算。38号A2779-A2805。10.1137/15M1042127·Zbl 1348.65010号 [19] Cotter，S.L.、Roberts，G.O.、Stuart，A.M.和White，D.（2013年）。函数的MCMC方法：修改旧算法使其更快。统计师。科学。28 424-446. 10.1214/13-STS421·Zbl 1331.62132号 [20] Cui，T.和Dolgov，S.（2022年）。使用平方逆Rosenblatt传输的张量列的深度合成。已找到。计算。数学。出现。2007年10月10日/10208-021-09537-5·Zbl 1505.65191号 [21] Cui，T.、Fox，C.和O'Sullivan，M.J.（2011年）。使用新的自适应延迟接受Metropolis-Hastings算法对大型地热储层模型进行贝叶斯校准。水资源。物件。47 [22] Cui，T.，Law，K.J.H.和Marzouk，Y.M.（2016）。与尺寸无关，可能会通知MCMC。J.计算。物理学。304 109-137. 2016年10月10日/j.jcp.2015.1008·Zbl 1349.65009号 [23] Cui，T.、Martin，J.、Marzouk，Y.M.、Solonen，A.和Spantini，A.（2014）。非线性反问题的似然降维。反向探测。30 114015. 10.1088/0266-5611/30/11/114015 ·Zbl 1310.62030 [24] Cui，T.和Tong，X.T.（2022）。补充“相似信息子空间方法的统一性能分析”10.3150/21-BEJ1437SUPP [25] Cui，T.和Zahm，O.（2021）。贝叶斯反问题的无数据似然信息降维。反向探测。37论文编号045009。10.1088/1361-6420/abeafb·Zbl 1464.62239号 [26] Dashti，M.和Stuart，A.M.（2011年）。椭圆反问题的不确定性量化和弱逼近。SIAM J.数字。分析。49 2524-2542。10.1137/100814664 ·Zbl 1234.35309号 [27] Detommaso，G.、Cui，T.、Marzouk，Y.、Spantini，A.和Scheichl，R.（2018年）。斯坦因变分牛顿法。高级神经信息处理。系统。31 9169-9179. [28] Dodwell，T.J.、Ketelsen，C.、Scheichl，R.和Teckentrup，A.L.（2019年）。多级马尔可夫链蒙特卡罗。SIAM版本。61 509-545。10.1137/19M126966X型·Zbl 1432.65008号 [29] Drineas，P.和Ipsen，I.C.F.（2019年）。低秩矩阵近似不需要奇异值间隙。SIAM J.矩阵分析。申请。40 299-319. 10.1137/18M1163658·Zbl 1455.65066号 [30] Flath，H.P.、Wilcox，L.C.、Akçelik，V.、Hill，J.、van Bloemen Waanders，B.和Ghattas，O.（2011年）。基于低秩部分Hessian近似的大规模线性反问题中贝叶斯不确定性量化的快速算法。SIAM J.科学。计算。33 407-432. 10.1137/090780717 ·Zbl 1229.65174号 [31] Gross，L.（1975）。对数Sobolev不等式。阿默尔。数学杂志。97 1061-1083. 10.2307/2373688 ·Zbl 0318.46049号 [32] Haario，H.、Laine，M.、Lehtinen，M.，Saksman，E.和Tamminen，J.（2004）。遥感高维反演的马尔可夫链蒙特卡罗方法。J.R.统计社会服务。B.统计方法。66 591-607. 10.1111/j.1467-9868.2004.02053.x号·Zbl 1098.86503号 [33] Hall，P.和Horowitz，J.L.（2007年）。函数线性回归的方法和收敛速度。Ann.Statist公司。35 70-91. 10.1214/009053606000000957 ·Zbl 1114.62048号 [34] Iglesias，M.A.、Lin，K.和Stuart，A.M.（2014）。地下水流中出现的贝叶斯几何反演问题。反向探测。30 114001。10.1088/0266-5611/30/11/114001 ·Zbl 1304.35767号 [35] Kaipio，J.P.、Kolehmainen，V.、Somersalo，E.和Vauhkonen，M.（2000年）。电阻抗断层成像中的统计反演和蒙特卡罗采样方法。反向探测。16 1487-1522. 10.1088/0266-5611/16/5/321 ·兹比尔1044.78513 [36] Karhunen，K.（1947年）。在Wahrscheinlichkeitsrechnung中使用线性方法。安·阿卡德。科学。小茴香科序列。A.I.数学-物理学。1947年79·Zbl 0030.16502号 [37] Ledoux，M.（1994）。P.Buser对一个不等式的简单分析证明。程序。阿默尔。数学。Soc公司。121 951-959. 10.2307/2160298 ·Zbl 0812.58093号 [38] Lie，H.C.、Sullivan，T.J.和Teckentrup，A.（2021）。贝叶斯推理中一些近似后验测度的误差界。在数值数学与高级应用——ENUMATH 2019.计算科学与工程课堂讲稿139 275-283. 查姆：斯普林格。10.1007/978-3-030-55874-1_26 ·Zbl 1470.62018年 [39] Liu，Q.和Wang，D.（2016）。Stein变分梯度下降：一种通用贝叶斯推理算法。高级神经信息处理。系统。29 2378-2386. [40] Loève，M.（1978年）。概率论。二，第4版。数学研究生教材，第46卷纽约：Springer·Zbl 0385.60001号 [41] Martin，J.、Wilcox，L.C.、Burstedde，C.和Ghattas，O.（2012年）。大规模统计反演问题的随机牛顿MCMC方法及其在地震反演中的应用。SIAM J.科学。计算。34 A1460-A1487。10.1137/110845598 ·Zbl 1250.65011号 [42] Marzouk，Y.、Moselhy，T.、Parno，M.和Spantini，A.（2017年）。通过测量传输采样：简介。在不确定性量化手册。第1、2、3卷785-825. 查姆：斯普林格。 [43] Morzfeld，M.、Tong，X.T.和Marzouk，Y.M.（2019年）。MCMC定位：采样具有局部结构的高维后验分布。J.计算。物理学。380 1-28. 2016年10月10日/j.jp.2018.12.008·Zbl 1451.65011号 [44] Murray，I.、MacKay，D.和Adams，R.P.（2008年）。高斯过程密度采样器。高级神经信息处理。系统。21 9-16. [45] Otto，F.和Villani，C.（2000）。Talagrand对不等式的推广，并与对数Sobolev不等式相联系。J.功能。分析。173 361-400. 2006年10月10日/jfan.1999.3557·Zbl 0985.58019号 [46] Petra，N.、Martin，J.、Stadler，G.和Ghattas，O.（2014）。无限维贝叶斯反问题的计算框架，第二部分：随机牛顿MCMC及其在冰盖流动反问题中的应用。SIAM J.科学。计算。36 A1525-A1555。10.1137/130934805 ·Zbl 1303.35110号 [47] Ramsay，J.O.和Silverman，B.W.（2005）。功能数据分析，第2版。统计学中的斯普林格系列纽约：Springer·Zbl 1079.62006号 [48] Rudolf，D.和Sprungk，B.（2018年）。关于预处理Crank-Nicolson Metropolis算法的推广。已找到。计算。数学。18 309-343. 2007年10月10日/10208-016-9340-x·Zbl 1391.60169号 [49] Sanz-Alonso，D.（2018年）。重要性抽样和必要的样本量：信息论方法。SIAM/ASA J.不确定性。量化。6 867-879. 10.1137/16M1093549·Zbl 1396.65016号 [50] Spantini，A.、Bigoni，D.和Marzouk，Y.（2018）。通过低维耦合进行推断。J.马赫。学习。物件。19第71号论文·Zbl 1480.62114号 [51] Spantini，A.、Solonen，A.、Cui，T.、Martin，J.、Tenorio，L.和Marzouk，Y.（2015）。贝叶斯线性逆问题的最优低阶近似。SIAM J.科学。计算。37 A2451-A2487。10.1137/140977308年·Zbl 1325.62060号 [52] 斯图尔特，G.W.（1980年）。随机正交矩阵的有效生成及其在条件估计中的应用。SIAM J.数字。分析。17 403-409. 10.1137/0717034 ·Zbl 0443.65027号 [53] Stuart，A.M.（2010年）。反问题：贝叶斯观点。Acta Numer公司。19 451-559. 10.1017/S0962492910000061·Zbl 1242.65142号 [54] Tabak，E.G.、Trigila，G.和Zhao，W.（2020年）。通过最优运输进行条件密度估计和模拟。机器。学习。109 665-688. 2007年10月10日/10994-019-05866-3·Zbl 1496.62068号 [55] Tabak，E.G.和Turner，C.V.（2013）。一系列非参数密度估计算法。普通纯应用程序。数学。66 145-164. 10.1002/cpa.21423·Zbl 06132669号 [56] Teixeira Parente，M.、Wallin，J.和Wohlmuth，B.（2020年）。活动子空间的广义界。电子。J.统计。14 917-943. 10.1214/20-EJS1684·Zbl 1434.60059号 [57] Tong，X.T.、Morzfeld，M.和Marzouk，Y.M.（2020年）。具有稀疏条件结构的高维分布MALA-within-Gibbs采样器。SIAM J.科学。计算。42 A1765-A1788。10.1137/19M1284014·Zbl 1444.62073号 [58] Trigila，G.和Tabak，E.G.（2016）。数据驱动的最佳传输。普通纯应用程序。数学。69 613-648. 10.1002/cpa.21588·Zbl 1337.49078号 [59] Yu，Y.，Wang，T.和Samworth，R.J.（2015）。对于统计学家来说，戴维斯-卡汉定理的一个有用变体。生物特征102 315-323。10.1093/生物技术/asv008·Zbl 1452.15010号 [60] Zahm，O.、Cui，T.、Law，K.、Spantini，A.和Marzouk，Y.（2018年）。非线性贝叶斯反问题的证明降维。ArXiv预印本。可从ArXiv:1807.03712获得·Zbl 07541892号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。