陈玉新;戴维·凯斯;科迪·J·H·劳。;哈泰姆·勒泰夫 加速维度相关的适应性大都市。 （英语） Zbl 1352.65029号 SIAM J.科学。计算。 38，第5号，S539-S565（2016）. 摘要：这项工作描述了通过算法和体系结构手段对高维参数空间上的黑盒贝叶斯推理进行的改进。著名的自适应Metropolis（AM）算法[H.哈里奥等人，Bernoulli 7，No.2，223-242（2001；Zbl 0989.65004号)]本文通过考虑目标的方差，将其推广到关于高斯目标的基本参数维的渐近均匀缩放。由此产生的算法称为维相关自适应Metropolis算法，与自适应Metroporis相比，该算法在非高斯目标上的性能也有所提高。该算法得到了进一步改进，并通过GPU加速的数值库和周期同步的并发链（证明后验概率），实现了探测高维（维数为1000）目标的可能性。与基于CPU的“英特尔MKL”（数学内核库）并行版本相比，此GPU实现在维度上的渐进性提高了四倍。通过每个样本批次较长的时间（弱缩放）和较少的收敛所需样本的组合，表现出对并发链的强缩放。通过几个高斯和非高斯目标的例子说明了算法的性能，在这些例子中，目标的维数可能超过1000。 引用于7文件 MSC公司： 65C60个 统计中的计算问题（MSC2010） 2015年1月62日 贝叶斯推断 65二氧化碳 蒙特卡罗方法 65立方厘米 马尔可夫链的数值分析或方法 60年22日 马尔可夫链中的计算方法 65年20月 数值算法的复杂性和性能 2005年5月 并行数值计算 关键词：马尔科夫蒙特卡洛;大数据;贝叶斯推断;自适应大都市;大都会-黑斯廷斯;布拉斯;GPU加速;高性能计算;数值示例;并行计算;算法;汇聚 引文：Zbl 0989.65004号 软件：夸克;KBLAS公司;ramcmc公司;MKL公司;CUDA公司;CUBLAS公司;LAPACK公司;LINPACK系列 PDF格式BibTeX公司 XML格式引用 \textit{Y.Chen}等人，SIAM J.Sci。计算。38，第5号，S539--S565（2016；Zbl 1352.65029） 全文： 内政部 arXiv公司 参考文献： [1] A.Abdelfattah、H.Ltaief和D.Keyes，{it KBLAS:GPU加速器上密集矩阵向量乘法的优化库}，ACM Trans。数学。软质。，42（2016），18，ŭlhttps://doi.org/10.1145/2818311doi:10.1145/2818311·Zbl 1369.65042号 [2] E.Anderson、Z.Bai、C.Bischof、S.Blackford、J.Demmel、J.Dongarra、J.Du Croz、A.Greenbaum、S.Hammarling、A.McKenney和D.Sorensen，《拉帕克用户指南》，第三版，《软件环境》。工具9，SIAM，费城，1999年·Zbl 0934.65030号 [3] C.Andrieu和Eí。Moulines，{\it关于一些自适应MCMC算法的遍历性}，Ann.Appl。概率。，16（2006），第1462-1505页·Zbl 1114.65001号 [4] C.Andrieu和J.Thoms，《自适应MCMC教程》，Statist。计算。，18（2008），第343-373页。 [5] A.Beskos、N.Pillai、G.Roberts、J.-M.Sanz-Serna和A.Stuart，｛\it混合蒙特卡罗算法的优化调谐｝，伯努利，19（2013），第1501-1534页·Zbl 1287.60090号 [6] A.Beskos、G.O.Roberts和A.M.Stuart，{高维非生产目标的Metropolis-Hastings算法的最优缩放}，Ann.Appl。概率。，19（2009），第863-898页·Zbl 1172.60328号 [7] A.Beskos、G.O.Roberts、A.M.Stuart和J.Voss，《扩散桥的MCMC方法》，斯托恰斯特。动态。，8（2008），第319-350页·Zbl 1159.65007号 [8] L.Biegler、G.Biros、O.Ghattas、M.Heinkenschloss、D.Keyes、B.Mallick、L.Tenorio、B.van Bloemen Waanders、K.Willcox和Y.Marzouk，{大尺度反问题和不确定性量化}，Wiley Ser。计算。统计师。712，John Wiley&Sons，纽约，2011年·Zbl 1203.62002号 [9] V.I.Bogachev，{高斯测度}，数学。调查专题。62，美国数学学会，普罗维登斯，RI，1998年·Zbl 0913.60035号 [10] S.P.Brooks和A.Gelman，监测迭代模拟收敛性的一般方法，J.Comput。图表。统计人员。，7（1998年），第434-455页。 [11] T.Bui Thanh和M.Girolami，用黎曼流形哈密顿蒙特卡罗求解大规模PDE约束的贝叶斯逆问题，逆问题，30（2014），114014·兹比尔1306.65269 [12] B.Calderhead，{\it Metropolis-Hastings算法并行化的一般构造}，Proc。国家。阿卡德。科学。美国，111（2014），第17408-17413页。 [13] S.L.Cotter、G.O.Roberts、A.M.Stuart和D.White，{函数的MCMC方法：修改旧算法使其更快}，Statist。科学。，28（2013），第424-446页·Zbl 1331.62132号 [14] R.V.Craiu和X.-L.Meng，{前向和后向马尔可夫链蒙特卡罗的多进程并行对偶耦合}，Ann.Statist。，33（2005年），第661-697页·Zbl 1068.62090号 [15] R.V.Craiu、J.Rosenthal和C.Yang，《向邻居学习：平行链和区域适应性MCMC》，J.Amer。统计师。协会，104（2009），第1454-1466页·Zbl 1205.65028号 [16] T.Cui、K.J.H.Law和Y.M.Marzouk，{维度无关，类似于知情的MCMC}，J.Compute。物理。，304（2016），第109-137页，doi:10.1016/j.jcp.2015.10.008·Zbl 1349.65009号 [17] T.Cui、J.Martin、Y.M.Marzouk、A.Solonen和A.Spantini，{非线性反问题的似然信息降维}，反问题，30（2014），114015·兹比尔1310.62030 [18] P.Del Moral、A.Doucet和A.Jasra，《序贯蒙特卡罗采样器》，J.Roy。统计师。Soc.序列号。B、 68（2006），第411-436页·Zbl 1105.62034号 [19] J.Dongarra、P.Beckman、P.Aerts、F.Cappello、T.Lippert、S.Matsuoka、P.Messina、S.Moore、T.A.R.、Trefethen和M.Valero，《国际exascale软件项目：全球高性能社区的合作行动呼吁》，国际高性能计算杂志。申请。，23（2009年），第309-322页。 [20] J.J.Dongarra、J.R.Bunch、C.B.Moler和G.W.Stewart，《LINPACK用户指南》，SIAM，费城，1979年。 [21] S.Duane、A.D.Kennedy、B.J.Pendleton和D.Roweth，《物理混合蒙特卡罗》。莱特。B、 195（1987），第216-222页。 [22] H.P.Flath、L.C.Wilcox、V.Akçelik、J.Hill、B.van Bloemen Waanders和O.Ghattas，基于低阶部分Hessian近似的大规模线性反问题中贝叶斯不确定性量化的快速算法，SIAM J.Sci。计算。，33（2011），第407-432页·Zbl 1229.65174号 [23] G.Fort，E.Moulines和P.Priouret，{自适应和交互式马尔可夫链蒙特卡罗算法的收敛}，《统计年鉴》。，39（2011），第3262-3289页·Zbl 1246.65003号 [24] G.Fort、E.Moulines、P.Priouret和P.Vandekerkhove，{自适应和相互作用马氏链的中心极限定理}，Bernoulli，20（2014），第457-485页·Zbl 1303.60020号 [25] A.Gelman、G.Roberts和W.Gilks，{有效都市跳跃规则}，贝叶斯统计。，5（1996年），第599-608页。 [26] A.Gelman和D.B.Rubin，{使用多序列从迭代模拟中推断}，统计。科学。，7（1992），第457-472页·Zbl 1386.65060号 [27] C.J.Geyer，《计算机科学与统计学：第23届接口研讨会论文集》，接口基金会，弗吉尼亚州费尔法克斯站，1991年，第156-163页。 [28] S.Ghosal、J.K.Ghosh和A.W.Van Der Vaart，{后验分布的收敛速度}，《统计年鉴》。，28（2000），第500-531页·Zbl 1105.62315号 [29] W.R.Gilks、S.Richardson和D.J.Spiegelhalter，《实践中的马尔可夫链蒙特卡罗》，查普曼霍尔/CRC，纽约，1996年·兹伯利0832.0018 [30] W.R.Gilks，｛\it Markov Chain Monte Carlo｝，威利在线图书馆，2005。 [31] M.Girolma和B.Calderhead，{it Riemann流形Langevin和Hamilton Monte Carlo方法}，J.Roy。统计师。Soc.序列号。B、 73（2011），第123-214页·Zbl 1411.62071号 [32] H.Haario、M.Laine、A.Mira和E.Saksman，{\it DRAM:高效自适应MCMC}，统计学家。和计算。，16（2006年），第339-354页。 [33] H.Haario、E.Saksman和J.Tamminen，《自适应大都会算法》，伯努利，7（2001），第223-242页·Zbl 0989.65004号 [34] H.Haario、E.Saksman和J.Tamminen，{高维MCMC的组件自适应}，计算机。统计人员。，20（2005），第265-273页·Zbl 1091.65009号 [35] W.K.Hastings，{使用马尔可夫链的蒙特卡罗抽样方法及其应用}，《生物统计学》，57（1970），第97-109页·Zbl 0219.65008号 [36] W.K.Hastings，{使用马尔可夫链的蒙特卡罗抽样方法及其应用}，《生物统计学》，57（1970），第97-109页·Zbl 0219.65008号 [37] K.Hukushima和K.Nemoto，{交换蒙特卡罗方法及其在自旋玻璃模拟中的应用}，日本物理学会杂志，65（1996），第1604-1608页。 [38] 英特尔，{\t数学内核库}。 [39] P.Jacob、C.P.Robert和M.H.Smith，{使用并行计算改进基于Metropolis-Hastings的独立估计}，J.Compute。图表。统计人员。，20（2011年），第616-635页。 [40] J.P.Kaipio和E.Somersalo，《电阻抗断层成像中的统计反演和蒙特卡罗采样方法》，《反演问题》，16（2000），第1487-1522页·Zbl 1044.78513号 [41] P.E.Kloeden和E.Platen，{随机微分方程的数值解}，应用。数学。23，施普林格出版社，柏林，1992年·Zbl 0752.60043号 [42] A.Koratikara、Y.Chen和M.Welling，《MCMC土地的紧缩：削减大都会-黑斯廷斯预算》，第31届机器学习国际会议论文集，《机器学习研究杂志》，32（2014）。 [43] 寇S.C.，周Q.，黄W.H.，{it讨论论文等能量采样器在统计推断和统计力学中的应用}，Ann.Statist。，（2006），第1581-1619页·Zbl 1246.82054号 [44] S.Kullback和R.A.Leibler，《信息与充分性》，《数学年鉴》。《统计》，22（1951），第79-86页·Zbl 0042.38403号 [45] K.J.H.Law，{加速功能空间MCMC}的提案，J.Compute。申请。数学。，262（2014），第127-138页·Zbl 1301.65004号 [46] O.P.Le Ma itre和O.M.Knio，《不确定性量化的光谱方法：应用于计算流体动力学》，Springer科学与商业媒体，纽约，2010年·Zbl 1193.76003号 [47] A.Lee、C.Yau、M.B.Giles、A.Doucet和C.C.Holmes，《关于图形卡对高级蒙特卡罗方法进行大规模并行模拟的实用性》，J.Comput。图表。统计人员。，19（2010年），第769-789页。 [48] D.Maclaurin和R.P.Adams，《萤火虫蒙特卡罗：具有数据子集的精确MCMC》，《国际人工智能联合会议论文集》，2015年。 [49] J.Martin，L.C.Wilcox，C.Burstede，and O.Ghattas，{it大规模统计反演问题的随机牛顿MCMC方法及其在地震反演中的应用}，SIAM J.Sci。计算。，34（2012），第A1460-A1487页·Zbl 1250.65011号 [50] B.Matérn等人，《空间变异：随机模型及其在森林调查和其他抽样调查中的应用》，Meddelanden fran statens Skogsforskningsinstituttut，49（1960），5。 [51] J.C.Mattingly、N.S.Pillai和A.M.Stuart，{it高维随机行走Metropolis算法的SPDE极限}，Ann.Appl。概率。，22（2012），第881-930页·Zbl 1254.60081号 [52] 消息传递接口论坛，{\it MPI:A Message Passing Interface}，收录于《93年超级计算学报》，IEEE计算机社会出版社，新泽西州皮斯卡塔韦，1993年，第878-883页。 [53] N.Metropolis、R.W.Rosenbluth、M.N.Teller和E.Teller，《快速计算机器的状态方程》，J.Chem。物理。，21（1953年），第1087-1092页·Zbl 1431.65006号 [54] S.P.Meyn和R.L.Tweedie，{马尔可夫链和随机稳定性}，通信和控制工程系列，Springer-Verlag，伦敦，1993年·Zbl 0925.60001号 [55] S.Minsker、S.Srivastava、L.Lin和D.B.Dunson，{通过子集后验中位数的稳健和可伸缩贝叶斯}，预印本，2014年·Zbl 1442.62056号 [56] R.M.Neal，{神经网络贝叶斯学习}，博士论文，多伦多大学计算机科学系，多伦多，安大略省，1994年·Zbl 0888.62021号 [57] NVIDIA，{\it CUDA：计算统一设备架构-并行计算平台和编程模型}。 [58] NVIDIA，{\it CUDA基本线性代数子程序（cuBLAS）}。 [59] B.Øksendal，{随机微分方程}，第5版，Universitext，Springer-Verlag，柏林，1998年·Zbl 0897.60056号 [60] N.S.Pillai、A.M.Stuart和A.H.Thiery，{高维Langevin算法的最佳缩放和扩散极限}，《Ann.Appl。概率。，22（2012），第2320-2356页·Zbl 1272.60053号 [61] C.P.Robert和G.C.Casella，《蒙特卡洛统计方法》，施普林格文本统计学家。，斯普林格·弗拉格，柏林，1999年·Zbl 0935.62005号 [62] G.O.Roberts、A.Gelman和W.R.Gilks，{随机游走都市算法的弱收敛性和最优尺度}，Ann.Appl。概率。，7（1997），第110-120页·Zbl 0876.60015号 [63] G.O.Roberts和J.Rosenthal，Langevin扩散离散近似的最优标度，J.Roy。统计师。Soc.序列号。B、 60（1998），第255-268页·Zbl 0913.60060号 [64] G.O.Roberts和J.Rosenthal，{各种Metropolis-Hastings算法的最佳缩放}，统计。科学。，16（2001），第351-367页·Zbl 1127.65305号 [65] G.O.Roberts和J.S.Rosenthal，{自适应马尔可夫链蒙特卡罗算法的耦合和遍历性}，J.Appl。概率。，44（2007），第458-475页·Zbl 1137.62015年 [66] G.O.Roberts和R.L.Tweedie，{Langevin分布及其离散近似的指数收敛}，Bernoulli，2（1996），第341-363页·Zbl 0870.60027号 [67] P.J.Rossky、J.D.Doll和H.L.Friedman，｛it Brownian dynamics as smart Monte Carlo simulation｝，《化学杂志》。物理。，69（1978），第4628-4633页。 [68] E.Saksman和M.Vihola，{关于无界域上自适应Metropolis算法的遍历性}，Ann.Appl。概率。，20（2010年），第2178-2203页·Zbl 1209.65004号 [69] C.Schillings和Ch.Schwab，《计算贝叶斯反演中的尺度极限》，技术报告2014-26，应用数学研讨会，瑞士苏黎世联邦理工学院，2014年·Zbl 1358.65013号 [70] S.L.Scott、A.W.Blocker、F.V.Bonassi、H.Chipman、E.George和R.McCulloch，《贝叶斯与大数据：共识蒙特卡罗算法》，国际管理科学杂志。和《工程管理》，11（2016），第78-88页。 [71] A.Solonen、P.Ollinaho、M.Laine、H.Haario、J.Tamminen和H.Jaárvinen，《气候模型参数估计的高效MCMC：并行自适应链和早期拒绝》，贝叶斯分析。，7（2012），第715-736页·Zbl 1330.60091号 [72] I.Strid，{使用预取方法实现Metropolis-Hastings算法的高效并行}，计算。统计师。数据分析。，54（2010年），第2814-2835页·Zbl 1284.62036号 [73] A.M.Stuart，《反问题：贝叶斯方法》，《数值学报》。，19（2010年），第451-559页·Zbl 1242.65142号 [74] M.A.Suchard、Q.Wang、C.Chan、J.Frelinger、A.Cron和M.West，《理解统计计算的GPU编程：大规模并行大规模混合研究》，J.Compute。图表。统计人员。，19（2010年），第419-438页。 [75] A.Tarantola，{模型参数估计的反问题理论和方法}，SIAM，费城，2005年·Zbl 1074.65013号 [76] L.Tierney，{it关于一般状态空间的Metropolis-Hastings核的注记}，Ann.Appl。概率。，8（1998），第1-9页·Zbl 0935.60053号 [77] M.Vihola，具有强制接受率的鲁棒自适应Metropolis算法，Statist。计算。，22（2012），第997-1008页·Zbl 1252.65024号 [78] S.J.Vollmer，{非高斯先验反问题的非维数MCMC抽样}，SIAM/ASA J.不确定性数量。，3（2015），第535-561页·兹比尔1322.65008 [79] P.Whittle，{线性最小二乘法预测和调节}，英国大学出版社，伦敦，1963年。 [80] D.J.Wilkinson，{并行贝叶斯计算}，统计学。教科书专著。，184（2006），第477页。 [81] A.YarKhan、J.Kurzak和J.Dongarra，{it QUARK Users’Guide:QUUEING and Runtime for Kernels}，田纳西大学创新计算实验室技术报告ICL-UT-11-02，田纳克州诺克斯维尔，2011年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。