×

高维高斯分布采样的迭代数值方法。 (英语) Zbl 1325.65020号

摘要:许多应用程序需要从高斯分布中进行有效采样。选择的方法取决于问题的维数以及协方差((黑体符号{\Sigma})或精度矩阵((mathbf{Q}))的结构。计算样本最常见的黑盒例程是基于Cholesky因子分解的。在高维中,计算Cholesky因子\(\boldsymbol{\Sigma}\)或\(\mathbf{Q}\)可能是禁止的,因为该因子中非零项的累积超过了内存中可能存储的数量。我们比较了采用数值线性代数思想迭代计算样本的不同方法。这些方法假设矩阵向量乘积\(\mathbf{Qv}\)计算速度很快。我们表明,一些方法具有竞争力,并且比Cholesky采样更快,使用CUDA在图形处理单元(GPU)上并行处理一种方法可以带来高达30倍的加速。此外,还使用了一种方法从北方某油田油藏参数的后验分布中采样大三维网格上给定地震反射数据的海平面。

MSC公司:

65C60个 统计中的计算问题(MSC2010)
62-07 数据分析(统计)(MSC2010)
65层10 线性系统的迭代数值方法
86A32型 地理统计学
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] N.I.Akhiezer:椭圆函数理论的要素。美国数学学会,普罗维登斯(1990)·Zbl 0694.33001号
[2] Allen,E.J.,Baglama,J.,Boyd,S.K.:矩阵平方根与向量乘积的数值近似。线性代数应用。310, 167–181 (2000) ·Zbl 0972.65029号 ·doi:10.1016/S0024-3795(00)00068-9
[3] Aune,E.,Simpson,D.P.:高维高斯分布中的参数估计。arXiv:1105.5256v1[stat.CO](2011)·Zbl 1325.62006号
[4] Banerjee,S.、Gelfand,A.E.、Finley,A.、Sang,H.:大型空间数据集的高斯预测过程模型。J.R.Stat.Soc.B 70、209–226(2008年)·Zbl 05563371号 ·文件编号:10.1111/j.1467-9868.2008.00663.x
[5] Belabbas,M.,Wolfe,P.:机器学习中的谱方法和超大数据集的新策略。程序。国家。阿卡德。科学。106(2), 369 (2009) ·doi:10.1073/pnas.0810600105
[6] Bell,N.,Garland,M.:在面向吞吐量的处理器上实现稀疏矩阵向量乘法。摘自:SC'09:高性能计算网络、存储和分析会议记录,第1-11页。ACM,纽约(2009)
[7] Benzi,M.,Bertaccini,D.:移位线性系统的近似逆预处理。位数字。数学。43(2), 231–244 (2003) ·Zbl 1037.65043号 ·doi:10.1023/A:1026089811044
[8] Besag,J.、York,J.和Mollie,A.:贝叶斯图像恢复,以及空间统计中的两个应用。Ann.Inst.Stat.数学。43, 1–59 (1991) ·Zbl 0760.62029号 ·doi:10.1007/BF00116466
[9] 比约克,澳大利亚:最小二乘问题的数值方法,第51卷。费城工业数学学会(1996)·Zbl 0847.65023号
[10] Buland,A.,Omre,H.:贝叶斯线性AVO反演。地球物理学68,185–198(2003)·数字对象标识代码:10.1190/1.1543206
[11] Buland,A.,Kolbjørnsen,O.,Omre,H.:傅里叶域中的快速空间耦合AVO反演。地球物理学68,824–836(2003)·doi:10.1190/1.1581035
[12] Cressie,N.,Johannesson,G.:大型空间数据集的固定秩kriging。J.R.Stat.Soc.B 70、209–226(2008年)·Zbl 05563351号 ·文件编号:10.1111/j.1467-9868.2007.00633.x
[13] Davies,P.I.,Higham,N.J.:矩阵函数f(A)b的计算f.In:QCD和数值分析III,第15-24页。柏林施普林格出版社(2005)·Zbl 1117.65319号
[14] Frommer,A.,Simoncini,V.:矩阵函数。摘自:《模型降阶:理论、研究方面和应用》,第275-304页。柏林施普林格出版社(2008)·Zbl 1153.65333号
[15] Golub,G.H.,van Loan,C.F.:《矩阵计算》,第三版。约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[16] Gray,R.:Toeplitz和循环矩阵:综述。电子书(2006)·Zbl 1115.15021号
[17] Hale,N.、Higham,N.J.、Trefethen,法律公告:通过轮廓积分计算A{\(\alpha\)}、log(A)和相关矩阵函数。SIAM J.数字。分析。46, 2505–2523 (2008) ·Zbl 1176.65053号 ·doi:10.1137/070700607
[18] Hestenes,M.,Stiefel,E.:求解线性系统的共轭梯度方法。《国家研究杂志》。伯尔。站立。49, 409–436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[19] 新泽西州海厄姆:《矩阵的函数:理论与计算》。费城工业和应用数学学会(2008)·Zbl 1167.15001号
[20] Ilic,M.,Turner,I.W.,Anh,V.:一类与分数泊松方程相关的线性系统的自适应预处理lanczos方法的数值解。J.应用。数学。斯托克。分析。2008, 104525 (2008) ·Zbl 1162.65015号 ·doi:10.1155/2008/104525
[21] Ilic,M.,Turner,I.W.,Simpson,D.P.:对称矩阵函数的重新启动的Lanczos近似。IMA J.Numer。分析。30, 1044–1061 (2010) ·兹比尔1220.65052 ·doi:10.1093/imanum/drp003
[22] Jegerlehner,B.:移位线性系统的Krylov空间解算器。arXiv:hep-lat/9612014v1(1996)
[23] Lee,A.,Yau,C.,Giles,M.B.,Doucet,A.,Holmes,C.C.:关于图形卡对高级蒙特卡罗方法进行大规模并行模拟的实用性。J.计算。图表。《法律总汇》第19卷,769-789页(2010年)·doi:10.1198/jcgs.2010.10039
[24] Lindgren,F.,Lindström,J.,Rue,H.:高斯场和高斯-马尔可夫随机场之间的明确联系:SPDE方法。J.R.Stat.Soc.B 73、423–498(2011年)·Zbl 1274.62360号 ·文件编号:10.1111/j.1467-9868.2011.00777.x
[25] MATLAB:版本7.11.0(R2010b)。The MathWorks Inc.,纳蒂克(2010)
[26] Meurant,G.,Strakos,Z.:有限精度算术中的Lanczos和共轭梯度算法。Acta Numer公司。15, 471–542 (2006) ·Zbl 1113.65032号 ·文件编号:10.1017/S096249290626001X
[27] Parker,A.,Fox,C.:在具有共轭梯度的Krylov空间中采样高斯分布。SIAM J.科学。计算。(2011年提交)·Zbl 1246.65057号
[28] Paul,M.,Held,L.,Toschke,A.M.:传染病监测数据的多元建模。Stat.Med.27,6250–6267(2008年)·doi:10.1002/sim.3440
[29] Rabben,T.E.,Ursin,B.,Tjelmeland,H.:地震反射系数的非线性贝叶斯联合反演。地球物理学。《国际期刊》第173、265–280页(2008年)·文件编号:10.1111/j.1365-246X.2007.03710.x
[30] Rasmussen,C.,Wiliams,C.:机器学习的高斯过程。麻省理工学院出版社,剑桥(2006)
[31] Riley,J.:用正定、对称但可能有条件的矩阵求解线性方程组。数学。表其他辅助计算。9(51), 96–101 (1955) ·Zbl 0066.10102号 ·doi:10.2307/2002065
[32] Roberts,G.,Sahu,S.:吉布斯采样器的更新方案、相关结构、阻塞和参数化。J.R.Stat.Soc.,塞尔维亚。B、 统计方法。59(2), 291–317 (1997) ·Zbl 0886.62083号 ·数字对象标识代码:10.1111/1467-9868.00070
[33] Rue,H.:高斯马尔可夫随机场的快速采样。J.R.Stat.Soc.B 63、325–338(2001年)·Zbl 0979.62075号 ·doi:10.1111/1467-9868.00288
[34] Rue,H.,Held,L.:高斯马尔可夫随机场。查普曼&霍尔,伦敦(2005)·邮编1093.60003
[35] Rue,H.,Tjelmeland,H.:将高斯马尔可夫随机场拟合为高斯场。扫描。《美国法律总汇》第29、31–49页(2002年)·Zbl 1017.62088号 ·doi:10.1111/1467-9469.00058
[36] Saad,Y.:稀疏线性系统的迭代方法,第2版。SIAM,费城(2003)·Zbl 1031.65046号
[37] Saad,Y.,Yeung,M.,Erhel,J.,Guyomarc'h,F.:共轭梯度算法的缩小版本。SIAM J.科学。计算。1909年至1926年(1999年)·Zbl 0955.65021号 ·doi:10.1137/S106482959898339761
[38] Schneider,M.,Willsky,A.:随机过程和场的协方差近似和模拟的Krylov子空间方法。多维空间。系统。信号处理。14, 295–318 (2003) ·Zbl 1056.93020号 ·doi:10.1023/A:1023530718764
[39] Shewchuk,J.:没有痛苦的共轭梯度方法的介绍。网址:http://www.cs.colorado.edu/\(\sim\)jessup/csci5646/READINGS/painess-conjugae-gradient.pdf(1994)
[40] Simon,H.:用重正交化方法分析对称Lanczos算法。线性代数应用。61, 101–131 (1984) ·Zbl 0579.65030号 ·doi:10.1016/0024-3795(84)90025-9
[41] Simpson,D.:对称正定矩阵函数逼近的Krylov子空间方法及其在应用统计和反常扩散中的应用。昆士兰理工大学数学科学学院博士论文(2008)
[42] Simpson,D.,Turner,I.,Pettitt,A.:使用Krylov子空间方法从高斯马尔可夫随机场快速采样。昆士兰理工大学数学科学学院技术报告(2008)
[43] Stein,E.M.,Shakarchi,R.:复杂分析。普林斯顿大学出版社,普林斯顿(2003)·Zbl 1020.30001号
[44] Stovas,A.,Ursin,B.:层状横向各向同性粘弹性介质的反射和透射响应。地球物理学。前景。51, 447–477 (2003) ·doi:10.1046/j.1365-2478.2003.00381.x
[45] Trefethen,L.,Bau,D.:数值线性代数。SIAM,费城(1997)·Zbl 0874.65013号
[46] Tyrtyshnikov,E.E.:最优和超最优循环预条件。SIAM J.矩阵分析。申请。13, 459–473 (1990) ·Zbl 0774.65024号 ·数字对象标识代码:10.1137/0613030
[47] van den Eshof,J.,Sleijpen,G.:移位系统族的精确共轭梯度法。申请。数字。数学。49, 17–37 (2003) ·Zbl 1053.65023号
[48] Zolotarev,E.I.:椭圆函数在离零最小和离零最大的函数问题上的应用。扎普。圣彼得堡诺克教堂(Imp.Nauk St.Petersb)。30 (1877) ·JFM 09.0343.02号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。