×
亚历山大·捷列宁；董绍峰；大卫·德雷珀

GPU加速吉布斯采样：马蹄形probit模型的案例研究。 （英语） 兹比尔1430.62172

统计计算。 29，第2号，301-310（2019）.
摘要：吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）方法，用于数值逼近贝叶斯统计和其他数学科学中感兴趣的积分。MCMC方法的许多实现都不容易扩展到并行计算环境，因为它们固有的顺序性导致了巨大的同步成本。在本文所示的案例研究中，我们展示了如何在图形处理单元上以完全数据并行的方式对一大类允许潜在变量表示的可交换模型进行吉布斯采样。我们的方法从系统的角度出发，强调计算硬件的有效使用。我们在Horseshoe Probit回归模型上演示了我们的方法，发现我们的实现可以同时有效扩展到数千个预测因子和数百万个数据点。

引用于8文件

MSC公司：

62J12型 广义线性模型（逻辑模型）
62兰特 大数据和数据科学的统计方面
62A09号 统计学中的图形方法
65二氧化碳 蒙特卡罗方法

关键词：

贝叶斯广义线性模型；大数据；图形处理单元；高维统计建模；马尔科夫蒙特卡洛；并行计算

软件：

测试U01；CUDA公司；S-PLUS系统；R（右）；开放运算语言；MersenneTwister公司；TensorFlow公司；坚果；PyTorch公司；火花；质量（R）；Vowpal Wabbit公司
PDF格式BibTeX公司 XML格式引用
\textit{A.Terenin}等人，《统计计算》。29，第2号，301-310（2019；Zbl 1430.62172）
全文： 内政部 arXiv公司

参考文献：

[1] Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，Chen，Z.，Citro，C.，Corrado，G.S.，Davis，A.，Dean，J.，Devin，M.版本，I.、Talwar，K.、Tucker，P.、Vanhoucke，V.、Vasudevan，V.，Viégas，F.、Vinyals，O.、Warden，P.，Wattenberg，M.、Wicke，M..、Yu，Y.、Zheng，X.：张力流：异构系统上的大规模机器学习。技术代表，谷歌（2017）
[2] Albert，J.H.，Chib，S.：二进制和多光子响应数据的贝叶斯分析。《美国统计协会杂志》88（422），669-679（1993）·Zbl 0774.62031号
[3] Beam，A.L.，Ghosh，S.K.，Doyle，J.：使用GPU计算的快速哈密顿蒙特卡罗。J.计算。图表。Stat.25，136-548（2015）
[4] Blei，D.M.，Ng，A.Y.，Jordan，M.I.：潜在Dirichlet分配。J.马赫。学习。第3（1）号决议，993-1022（2003）·Zbl 1112.68379号
[5] Breyer，L.，Roberts，G.O.，Rosenthal，J.S.：关于几何遍历性和浮点舍入误差的注释。统计概率。莱特。53(2), 123-127 (2001) ·Zbl 0991.60064号
[6] Canny，J.，Zhao，H.：Bidmach：零内存分配的大规模学习。In:NIPS BigLearning研讨会（2013年）
[7] Carvalho，C.M.，Polson，N.G.，Scott，J.G.：稀疏信号的马蹄形估计器。《生物特征》97（2），1-26（2010）·Zbl 1406.62021号
[8] Chamandy，N.，Muralidharan，O.，Wager，S.：在Google-scale上教授统计学。《美国统计》69（4），283-291（2015）·Zbl 07671745号
[9] Cheng，R.：具有非积分形状参数的伽马变量的生成。J.R.统计社会服务。C（Appl.Stat.）26（1），71-75（1977）
[10] Chopin，N.，Ridgway，J.：别管PIMA印度人：二元回归作为贝叶斯计算的基准（2015）。arXiv公司：1506.08640·Zbl 1442.62007年
[11] de Finetti，B.：《公共愿景：ses lois logiques，ses sources subjectives》。安·l’inst。亨利·彭加雷7（1），1-68（1937）·JFM 63.1070.02标准
[12] Geman，S.、Geman，D.：随机松弛、吉布斯分布和图像的贝叶斯恢复。IEEE传输。模式分析。机器。智力。6, 721-741 (1984) ·Zbl 0573.62030号
[13] 黑斯廷斯，W.K.：使用马尔可夫链的蒙特卡罗抽样方法及其应用。生物特征57（1），97-109（1970）·Zbl 0219.65008号
[14] 医学博士霍夫曼（Hoffman，M.D.）和盖尔曼（Gelman，A.）：无U向取样器：在哈密顿蒙特卡罗（Hamilton Monte Carlo）中自适应设置路径长度。J.马赫。学习。第15（1）号决议，1593-1623（2014）·Zbl 1319.60150号
[15] Krizhevsky，A.：卷积神经网络并行化的一个奇怪技巧（2014）。arXiv:1404.5997
[16] Langford，J.：Vowpal Wabbit开源项目。技术代表，雅虎（2007）
[17] L'Ecuyer，P.，Simard，R.：TestU01：随机数生成器经验测试的C库。ACM事务处理。数学。柔和。33(4), 22 (2007) ·Zbl 1365.65008号
[18] Lee，A.，Yau，C.，Giles，M.B.，Doucet，A.，Holmes，C.C.：关于图形卡对高级蒙特卡罗方法进行大规模并行模拟的实用性。J.计算。图表。《美国联邦法律大全》第19（4）卷第769-789页（2010年）
[19] Magnusson，M.、Jonsson，L.、Villani，M.和Broman，D.：主题模型中平行推理的稀疏部分崩溃MCMC（2015）。arXiv公司：1506.03784·Zbl 07498961号
[20] Makalic，E.，Schmidt，D.F.：马蹄形估计器的简单取样器（2015）。arXiv:1508.03884
[21] Manssen，M.、Weigel，M.和Hartmann，A.K.：GPU上大规模并行模拟的随机数生成器。欧洲物理学会。J.规范主题210（1），53-71（2012）
[22] Marsaglia，G.：异或移位RNG。J.统计软件。8(14), 1-6 (2003)
[23] Matloff，N.：并行机编程。加利福尼亚大学戴维斯分校（2011年）
[24] Matsumoto，M.，Nishimura，T.：梅森龙卷风：623维均匀伪随机数生成器。ACM事务处理。模型。计算。模拟。8(1), 3-30 (1998) ·兹比尔0917.65005
[25] Metropolis，N.、Rosenbluth，A.W.、Rosenbruth，M.N.、Teller，A.H.、Teler，E.：快速计算机器的状态方程计算。化学杂志。物理学。21(6), 1087-1092 (1953) ·Zbl 1431.65006号
[26] Mingas，G。；Bouganis，CS，使用可重构硬件的并行回火MCMC加速，227-238（2012），柏林
[27] Murray，L.M.、Lee，A.、Jacob，P.E.：粒子过滤器中的并行重采样。J.计算。图表。Stat.25（3），789-805（2016）
[28] Neubig，G.，Goldberg，Y.，Dyer，C.：动态计算图中的动态操作批处理。在：第31届神经信息处理系统大会（2017）
[29] Nicolls，J.，Buck，I.，Garland，M.，Skadron，K.：使用CUDA进行可扩展并行编程。ACM队列6（2），40-53（2008）
[30] Paszke，A.、Gross，S.、Chintala，S.，Chanan，G.、Yang，E.、DeVito，Z.、Lin，Z.，Desmaison，A.、Antiga，L.、Lerer，A.：pytorch中的自动区分。In:第31届神经信息处理系统会议（2017年）自动分化研讨会
[31] Robert，C.P.：截断正态变量的模拟。统计计算。5(2), 121-125 (1995)
[32] Salmon，J.K.，Moraes，M.A.，Dror，R.O.，Shaw，D.E.：平行随机数：简单到1，2，3。2011年高性能计算、网络、存储和分析国际会议，第1-12页（2011年）
[33] Sanders，J.，Kandrot，E.：CUDA示例：通用GPU编程简介。Addison-Wesley，柏林（2010）
[34] Seita，D.，Chen，H.，Canny，J.：一般离散贝叶斯网络上的快速并行相同吉布斯采样（2015）。arXiv:1511.06416
[35] Stone，J.E.，Gohara，D.，Shi，G.：OpenCL：异构计算系统的并行编程标准。计算。科学。工程12（1-3），66-73（2010）
[36] Suchard，M.A.，Wang，Q.，Chan，C.，Frelinger，J.，Cron，A.，West，M.：了解统计计算的GPU编程：大规模并行大规模混合的研究。J.计算。图表。《统计》第19（2）卷，第419-438页（2010年）
[37] Terenin，A.、Simpson，D.、Draper，D.：异步吉布斯采样（2016）。arXiv:1509.08999
[38] Terenin，A.，Magnusson，M.，Jonsson，L.，Draper，D.：Pólya urn潜在Dirichlet分配：双重稀疏大规模平行采样器（2017）。arXiv:1704.03581
[39] Typesafe Inc（2015）Akka Scala文档。http://akka.io网站/
[40] Venables，W.N.，Ripley，B.D.：现代应用统计学与S-PLUS。柏林施普林格出版社（2002年）·Zbl 1006.62003号
[41] Yan，F.，Xu，N.，Qi，Y.：图形处理单元上潜在Dirichlet分配的并行推断。In:《神经信息处理系统进展》，第20卷，第2134-2142页（2009年）
[42] Zaharia，M.、Chowdhury，M.，Franklin，M.J.、Shenker，S.、Stoica，I.：Spark：使用工作集的集群计算。摘自：第二届USENIX云计算热点会议记录，第10卷，第10-16页（2010年）
[43] Zhan，Y.，Kindratenko，V.：评估用于将CUDA应用程序迁移到AMD GPUS的AMD HIP工具集。国家超级计算应用中心技术代表（2016年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。