大卫·J·沃恩。;斯科特·西森。;克里斯托弗·德罗万迪 向量运算加速昂贵的贝叶斯计算-教程指南。 （英语） Zbl 07809912号 贝叶斯分析。 17，第2号，593-622（2022）. 摘要：贝叶斯统计中的许多应用程序都需要大量的计算。然而，它们往往本质上是并行的，这使它们成为现代大规模并行处理器的主要目标。多核和分布式计算在贝叶斯社区中得到了广泛的应用，然而，很少有人关注使用大多数现代CPU上可用的单指令多数据（SIMD）操作的细粒度并行化。在这项工作中，我们使用标准编程库实际演示了SIMD方法对几个主题贝叶斯应用程序的实用性。使用C编程语言，我们表明SIMD可以将单核浮点运算性能提高到标量C代码的6倍，与优化R代码的25倍以上。这样的改进会增加通过多核处理所获得的任何收益。我们说明了SIMD在加速贝叶斯计算方面的潜力，并为读者提供了开发现代大规模并行处理环境的技术。 引用于1文件 MSC公司： 62至XX 统计 65C60个 统计中的计算问题（MSC2010） 97K80美元 应用统计（教育方面） 关键词：高级向量扩展;近似贝叶斯计算;序贯蒙特卡罗;单指令多数据;矢量化;弱信息先验 软件：朱莉娅;STOCHSIMGPU公司 PDF格式BibTeX公司 XML格式引用 \textit{D.J.Warne}等人，《贝叶斯分析》。17，编号2，593--622（2022；Zbl 07809912） 全文： 内政部 arXiv公司 链接 参考文献： [1] Amdahl，G.M.（1967年）。“实现大规模计算能力的单处理器方法的有效性。”1967年4月18日至20日春季联合计算机会议记录，AFIPS’67（春季），483-485。美国纽约州纽约市：ACM。 [2] Andrieu，C.、Doucet，A.和Holenstein，R.（2010年）。“粒子马尔可夫链蒙特卡罗方法。”英国皇家统计学会杂志：B辑, 72: 269-342. ·Zbl 1411.65020号 ·文件编号：10.1111/j.1467-9868.2009.00736.x [3] Barber，S.、Voss，J.和Webster，M.（2015）。“近似贝叶斯计算的收敛速度。”电子统计学杂志, 9: 80-195. ·兹比尔1307.62063 ·doi:10.1214/15-EJS988 [4] Bekaert，G.、Engstrom，E.和Ermolov，A.（2015）。“不良环境，良好环境：非高斯非对称波动率模型。”经济学杂志, 186: 258-275. ·Zbl 1331.62452号 ·doi:10.1016/j.jeconom.2014.06.021 [5] Beskos，A.、Jasra，A.、Kantas，N.和Thiery，A.（2016）。“关于自适应序贯蒙特卡罗方法的收敛性。”应用概率年鉴, 26: 1111-1146. ·Zbl 1342.82127号 ·doi:10.1214/15-AAP1113 [6] Bezanson，J.、Edelman，A.、Karpinski，S.和Shah，V.B.（2017）。“朱莉娅：一种新的数值计算方法。”SIAM审查, 59(1): 65-98. ·Zbl 1356.68030号 ·数字对象标识代码：10.1137/141000671 [7] Blum，M.G.B.、Nunes，M.A.、Prangle，D.和Sisson，S.A.（2013年）。“近似贝叶斯计算中降维方法的比较综述。”统计科学, 28: 189-208. ·Zbl 1331.62123号 ·doi:10.1214/12-STS406 [8] Bollerslev，T.（1986）。“广义自回归条件异方差。”计量经济学杂志, 31(3): 307 - 327. ·Zbl 0616.62119号 ·doi:10.1016/0304-4076（86）90063-1 [9] Bonassi，F.、You，L.和West，M.（2011年）。“生物网络模型中边际数据的贝叶斯学习。”遗传学和分子生物学中的统计应用, 10(1): 49. ·doi:10.2202/1544-6115.1684 [10] Bradley，T.、du Toit，J.、Tong，R.、Giles，M.和Woodhams，P.（2011年）。“随机数生成器的并行化技术”，摘自Green，T.和Day，R.（eds.），GPU计算宝石翡翠版爱思唯尔公司。 [11] 肖邦，N.（2002）。“静态模型的顺序粒子滤波方法。”生物特征, 89: 539-551. ·Zbl 1036.62062号 ·doi:10.1093/biomet/89.3.539 [12] 北卡罗来纳州Crago、M.Stephenson和S.W.Keckler（2018）。“公开内存访问模式以提高GPU中的指令和内存效率。”ACM架构和代码优化事务, 15(4): 45:1-45:23. [13] Davies，R.和Brooks，R.J.（2007）。“多个递归同余生成器中的流相关性。”模拟杂志, 1: 131-135. [14] Del Moral，P.、Doucet，A.和Jasra，A.（2006年）。“连续蒙特卡罗采样器。”英国皇家统计学会期刊：B辑, 68: 411-436. ·Zbl 1105.62034号 ·文件编号：10.1111/j.1467-9868.2006.00553.x [15] Evans，M.和Jang，G.H.（2011年）。“弱信息性和一个先验信息相对于另一个先兆信息。”统计科学, 26: 423-439. ·Zbl 1246.62007年 ·doi:10.1214/11-STS357 [16] Fan，Y.和Sisson，S.A.（2018年）。“ABC采样器”，收录于Sisson，S.A.、Fan，Y.和Beaumont，M.A.（编辑），近似贝叶斯计算手册, 87-123. [17] Gelman，A.（2006年）。“层次模型中方差参数的先验分布（Browne和Draper的一篇文章评论）。”贝叶斯分析, 1: 515-534. ·Zbl 1331.62139号 ·doi:10.1214/06-BA117A [18] Geng，T.、Diken，E.、Wang，T.，Jozwiak，L.和Herbordt，M.（2018年）。“一种可识别存取模式的片上矢量存储系统，可自动加载SIMD体系结构。”In2018 IEEE高性能极限计算会议（HPEC）, 1-7. [19] Gillespie，C.和Lovelace，R.（2017年）。高效R编程O'Reilly Media，Inc.，美国。 [20] Gillespie，D.T.（1977年）。“耦合化学反应的精确随机模拟。”物理化学杂志, 81: 2340-2361. [21] Gillespie，D.T.（2000）。“化学朗之万方程。”化学物理杂志, 113: 297-306. [22] Gillespie，D.T.（2001）。“化学反应系统的近似加速模拟。”化学物理杂志, 115: 1716-1733. [23] Glosten，L.R.、Jagannathan，R.和Runkle，D.E.（1993）。“关于股票名义超额收益率的预期值和波动性之间的关系。”《金融杂志》, 48(5): 1779-1801. [24] Green，P.J.、Łatuszyński，K.、Pereyra，M.和Robert，C.P.（2015）。贝叶斯计算：当前状态的摘要，以及前后采样统计与计算, 25: 835-862. ·Zbl 1331.62017年 ·doi:10.1007/s11222-015-9574-5 [25] Hillis，W.D.和Steele，G.L.，Jr.（1986年）。“数据并行算法。”ACM通信, 29: 1170-1183. [26] Holbrook，A.J.、Lemey，P.、Baele，G.、Dellicour，S.、Brockmann，D.、Rambaut，A.和Suchard，M.A.（2020年）。“大规模并行化促进了大规模贝叶斯多维扩展。”计算与图形统计杂志, 1-14. ·Zbl 07499878号 ·doi:10.1080/10618600.2020.1754226 [27] Hurn，A.S.、Lindsay，K.A.和Warne，D.J.（2016）。“随机波动性Heston模型最大似然参数估计的异构计算方法”，Nelson，M.、Mallet，D.、Pincombe，B.和Bunder，J.（编辑），第十二届两年一度工程数学与应用会议论文集，EMAC-2015，第57卷，共页ANZIAM J。，C364-C381。 [28] Jasra，A.、Jo，S.、Nott，D.、Shoemaker，C.和Tempone，R.（2019年）。“近似贝叶斯计算中的多级蒙特卡罗。”随机分析及其应用, 0(0): 1-15. ·Zbl 1426.65005号 ·doi:10.1080/07362994.2019.1566006 [29] Klingbeil，G.、Erban，R.、Giles，M.和Maini，P.K.（2011年）。“STOCHSIMGPU：MATLAB系统生物学工具箱2的并行随机模拟。”生物信息学, 27: 1170-1171. [30] Lee，A.、Yau，C.、Giles，M.B.、Doucet，A.和Holmes，C.（2010a）。“关于图形卡用于对高级蒙特卡罗方法进行大规模并行模拟的实用性。”计算与图形统计杂志, 19: 769-789. [31] Lee，V.W.，Kim，C.，Chhugani，J.，Deisher，M.，Kim。“揭穿100X GPU vs.CPU神话：CPU和GPU吞吐量计算的评估。”SIGARCH计算机体系结构新闻, 38: 451-460. [32] Li，D.、Clements，A.和Drovandi，C.（2020年）。“通过序列蒙特卡罗对GARCH型模型进行有效的贝叶斯估计。”计量经济与统计。按。 [33] Macintosh，H.J.、Banks，J.E.和Kelson，N.A.（2019年）。“利用OpenCL实现和评估异构、可扩展、三对角线性系统求解器，以FPGA、GPU和CPU为目标。”国际可重构计算杂志, 2019: 1-13. [34] Mahani，A.S.和Sharabiani，M.T.A.（2015）。“SIMD并行MCMC采样与大数据贝叶斯分析应用。”计算统计与数据分析, 88: 75-99. ·Zbl 1468.62131号 ·doi:10.1016/j.csda.2015.02.010 [35] Marjoram，P.、Molitor，J.、Plagnol，V.和Tavare，S.（2003）。“没有可能性的马尔可夫链蒙特卡罗。”美国国家科学院院刊, 100: 15324-15328. [36] Maruyama，G.（1955年）。“连续马尔可夫过程和随机方程。”巴勒莫马特马蒂马蒂科广场（Rendiconti del Circolo Matematico di Palermo）, 4(1): 48-90. ·Zbl 0053.40901号 ·doi:10.1007/BF02846028 [37] Mudalige，G.R.、Reguly，I.Z.和Giles，M.B.（2016）。“自动矢量化大规模生产非结构化网格CFD应用”SIMD/矢量处理编程模型第三次研讨会会议记录，WPMVP’16，5:1-5:8。美国纽约州纽约市：ACM。 [38] Murray，L.M.、Lee，A.和Jacob，P.E.（2016）。“粒子过滤器中的并行重采样。”计算与图形统计杂志, 25: 789-805. ·doi:10.1080/10618600.2015.06205 [39] Nott，D.、Drovandi，C.C.、Mengersen，K.和Evans，M.（2018）。“使用回归ABC的近似贝叶斯计算预测值。”贝叶斯分析, 13: 59-83. ·Zbl 06873718号 ·doi:10.1214/16-BA1033 [40] Press，W.H.、Teukolsky，S.A.、Vetterling，W.T.和Flannery，B.P.（1992）。C语言中的数字食谱：科学计算的艺术剑桥大学出版社·Zbl 0845.65001号 [41] Rodrigues，G.S.、Prangle，D.和Sisson，S.A.（2018年）。“重新校准：近似贝叶斯计算的后处理方法。”计算统计与数据分析, 126: 53-66. ·Zbl 1469.62133号 ·doi:10.1016/j.csda.2018.04.004 [42] Ross，R.J.H.、Baker，R.E.、Parker，A.、Ford，M.J.、Mort，R.L.和Yates，C.A.（2017）。“使用近似贝叶斯计算量化细胞迁移过程中的细胞间粘附参数。”npj系统生物学与应用, 3(1): 9. [43] Salomone，R.、South，L.F.、Drovandi，C.C.和Kroese，D.P.（2018年）。“通过顺序蒙特卡罗进行无偏一致嵌套抽样。”ArXiv电子打印.ArXiv:1805.03924[stat.CO]。 [44] Sisson，S.A.、Fan，Y.和Beaumont，M.（2018年）。近似贝叶斯计算手册查普曼和霍尔/CRC出版社。 [45] Sisson，S.A.、Fan，Y.和Tanaka，M.M.（2007年）。“没有可能性的连续蒙特卡洛。”美国国家科学院院刊, 104: 1760-1765. ·Zbl 1160.65005号 ·doi:10.1073/pnas.0607208104 [46] South，L.F.、Pettitt，A.N.和Drovandi，C.C.（2019年）。“具有独立马尔可夫链蒙特卡罗提议的连续蒙特卡罗营地。”贝叶斯分析, 14(3): 773-796. ·Zbl 1421.62059号 ·doi:10.1214/18-BA1129 [47] Tanaka，M.M.、Francis，A.R.、Luciani，F.和Sisson，S.A.（2006年）。“使用近似贝叶斯计算从基因型数据估计结核病传播参数。”遗传学, 173: 1511-1520. [48] Terenin，A.、Dong，S.和Draper，D.（2018年）。“GPU加速吉布斯采样：马蹄-Probit模型的案例研究。”统计与计算. ·Zbl 1430.62172号 ·数字对象标识代码：10.1007/s11222-018-9809-3 [49] Tian，X.、Saito，H.、Preis，S.V.、Garcia，E.N.、Kozhukhov，S.S.、Masten，M.、Cherkasov，A.G.和Panchenko，N.（2013年）。“针对Intel RXeon Phi协处理器的实用SIMD矢量化技术。”在2013 IEEE并行分布式处理国际研讨会、研讨会和博士论坛, 1149-1158. [50] Trobec，R.、Slivnik，B.、Bulić，P.和Robič，B.（2018）。并行计算导论：从算法到最新平台上的编程查姆：Springer International Publishing。 ·doi:10.1007/978-3-319-98833-7 [51] van der Pas，R.、Stotzer，E.、Stotzer，E.和Terboven，C.（2017年）。使用OpenMP-下一步：相关性、加速器、任务和SIMD麻省理工学院出版社。 [52] Vo，B.N.、Drovandi，C.C.和Pettitt，A.N.（2019）。“贝叶斯参数引导，用于具有难以处理的可能性的模型。”贝叶斯分析, 14: 211-234. ·Zbl 1409.62066号 ·doi:10.1214/17-BA1071 [53] Warne，D.J.、Baker，R.E.和Simpson，M.J.（2018年）。“用于近似贝叶斯计算的多级拒绝采样。”计算统计与数据分析, 124: 71-86. ·Zbl 1469.62160号 ·doi:10.1016/j.csda.2018.02.009 [54] Warne，D.J.、Baker，R.E.和Simpson，M.J.（2019年）。“随机生化反应网络的模拟和推理算法：从基本概念到最新技术。”英国皇家学会杂志, 16: 20180943. [55] Warne，D.J.、Sisson，S.A.和Drovandi，C.（2021）。“用于加速昂贵贝叶斯计算的向量运算-教程指南”的补充材料贝叶斯分析. ·doi:10.1214/21-BA1265SUPP文件 [56] Zierke，S.和Bakos，J.D.（2010年）。“FPGA加速贝叶斯MCMC推理方法的系统发育似然函数。”BMC生物信息学, 11: 184 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。