Ko、Seyoon;周，华;周金杰。;元，钟浩 20世纪20年代计算环境中的高性能统计计算。 （英语） Zbl 07612069号 统计科学。 37，第4期，494-518（2022年）. 总结：过去十年的技术进步，无论是硬件还是软件，都使得获得高性能计算（HPC）变得比以往任何时候都容易。我们从统计计算的角度回顾了这些进展。云计算使超级计算机的使用变得负担得起。深度学习软件库使编程统计算法变得简单，并使用户能够一次性编写代码并在任何地方运行——从笔记本电脑到具有多个图形处理单元（GPU）的工作站或云中的超级计算机。为了突出这些发展如何使统计学家受益，我们回顾了最新的优化算法，这些算法对高维模型很有用，并且可以利用HPC的威力。提供的代码片段用于演示编程的简易性。我们还提供适用于HPC的易于使用的分布式矩阵数据结构。利用这种数据结构，我们说明了各种统计应用，包括大规模正电子发射断层成像和正则化Cox回归。我们的示例可以轻松扩展到云中的8-GPU工作站和720-CPU核心集群。作为一个恰当的例子，我们使用HPC正则化Cox回归分析了来自英国生物银行的20万受试者和约50万个单核苷酸多态性的2型糖尿病发病情况。拟合这个50万变量的模型只需不到45分钟，并重新确认了已知的关联。据我们所知，这是首次证明在这种范围内对生存结果进行惩罚回归的可行性。 引用于1文件 MSC公司： 62至XX 统计 关键词：高性能统计计算;图形处理单元（GPU）;云计算;深度学习;MM算法;ADMM公司;PDHG公司;Cox回归 软件：R（右）;CUDA.jl公司;MPI阵列.jl;开放MPI;卡费;Hadoop公司;github;火炬;泥浆;OpenBLAS（开放BLAS）;CUDA公司;戴维;MXNet公司;西雅娜;MapReduce;问题列表;PyCUDA公司;CUBLAS公司;TensorFlow公司;DiffSharp（差异锐化）;PyTorch公司;CNTK公司;分布式阵列.jl;CUDAnative.jl公司;联合国后勤基地;蟒蛇;网状的;海关;BLAS公司;求和;努姆巴;太阳网格引擎;朱莉娅;MKL公司;开放运算语言;火花;传奇;PyOpenCL公司;gputools公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Ko}等人，《统计科学》。37，编号4，494--518（2022；Zbl 07612069） 全文： 内政部 arXiv公司 链接 参考文献： [1] ABADI，M.、AGARWAL，A.、BARHAM，P.、BREVDO，E.、CHEN，Z.、CITRO，C.、CORRADO，G.S.、DAVIS，A.、DEAN，J.等人（2016年）。TensorFlow：异构系统上的大规模机器学习。预印本。可在arXiv:1603.04467获得。软件可从以下位置获得：https://tensorflow.org。 [2] ARMBRUST，M.、FOX，A.、GRIFFITH，R.、JOSEPH，A.D.、KATZ，R.，KONWINSKI，A.、LEE，G.、PATTERSON，D.、RABKIN，A.等人（2010年）。云计算视图。Commun公司。ACM公司53 50-58. [3] ATCHADé，Y.F.，FORT，G.和MOULINES，E.（2017年）。关于扰动近似梯度算法。J.马赫。学习。物件。18第10、33号论文·Zbl 1433.90199号 [4] BAHRAMPOUR，S.、RAMAKRISHNAN，N.、SCHOTT，L.和SHAH，M.（2016）。深度学习软件框架的比较研究。预印。可从arXiv:1511.06435获取。 [5] BALLARD，G.、DEMMEL，J.、HOLTZ，O.和SCHWARTZ，O.（2011年）。数字线性代数中的通信最小化。SIAM J.矩阵分析。应用。32 866-901. ·Zbl 1246.68128号 ·doi:10.1137/090769156 [6] Bauer，B.和Kohler，M.（2019年）。深度学习作为非参数回归中维度诅咒的补救方法。安。统计师。47 2261-2285. ·Zbl 1421.62036号 ·doi:10.1214/18-AOS1747 [7] BAYDIN，A.G.、PEARLMUTTER，B.A.、RADUL，A.A.和SISKIND，J.M.（2017）。机器学习中的自动区分：一项调查。J.马赫。学习。物件。18第153、43号论文·兹伯利06982909 [8] 贝克，A.（2017）。最优化中的一阶方法.MOS-SIAM优化系列25.宾夕法尼亚州费城SIAM·doi:10.1137/1.9781611974997.ch1 [9] Beck，A.和Teboulle，M.（2009年）。线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2 183-202. ·Zbl 1175.94009号 ·doi:10.1137/080716542 [10] BESARD，T.、FOKET，C.和DE SUTTER，B.（2019年）。有效的可扩展编程：在GPU上释放Julia。IEEE传输。平行配送系统。30 827-841. [11] Bezanson，J.、Edelman，A.、Karpinski，S.和Shah，V.B.（2017年）。朱莉娅：一种新的数值计算方法。SIAM版本。59 65-98. ·Zbl 1356.68030号 ·数字对象标识代码：10.1137/141000671 [12] 布莱克福德，L.S.等人（2002年）。一组更新的基本线性代数子程序（BLAS）。ACM事务处理。数学。软件28 135-151. ·Zbl 1070.65520号 ·数字对象标识代码：10.1145/567806.567807 [13] Boyd，S.、Parikh，N.、Chu，E.、Peleato，B.和Eckstein，J.（2011）。通过乘法器的交替方向方法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3 1-122. ·Zbl 1229.90122号 [14] BUCKNER，J.、WILSON，J.，SELIGMAN，M.、ATHEY，B.、WATSON，S.和MENG，F.（2009年）。gputools软件包支持R中的GPU计算。生物信息学26 134-135. [15] Chambolle，A.和Pock，T.（2011年）。凸问题的一阶原对偶算法及其在成像中的应用。J.数学。图像视觉40 120-145. ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1 [16] CHAMBOLLE，A.、EHRHARDT，M.J.、RICHTáRIK，P.和SCHNLIEB，C.-B.（2018年）。具有任意采样和成像应用的随机原始-对偶混合梯度算法。SIAM J.优化。28 2783-2808. ·Zbl 06951767号 ·doi:10.1137/17M1134834 [17] CHEN，Y.、LAN，G.和OUYANG，Y.（2014）。一类鞍点问题的最优原对偶方法。SIAM J.Optim公司。24 1779-1814. ·Zbl 1329.90090号 ·doi:10.1137/130919362 [18] CHEN，T.，LI，M.，LI，Y.，LIN，M..，WANG，N.，WANG。MXNet：用于异构分布式系统的灵活高效的机器学习库。预印。可从arXiv:1512.01274获取。 [19] CHI，E.C.、ZHOU，H.和LANGE，K.（2014）。距离优化及其应用。数学。程序。146 409-436. ·Zbl 1297.65067号 ·doi:10.1007/s10107-013-0697-1 [20] CHU，D.、ZHANG，C.、SUN，S.和TAO，Q.（2020）。有效投影到\[{ell_{1，\infty}}\]-范数球上的半光滑牛顿算法。在ICML公司2020程序。机器。学习。物件。119 1974-1983. [21] CHURCH，D.M.、SCHNEIDER，V.A.、GRAVES，T.、AUGER，K.、CUNNINGHAM，F.、BOUK，N.、CHEN，H.-C.、AGARWALA，R.、MCLAREN，W.M.等人（2011年）。现代化参考基因组组装。《公共科学图书馆·生物》。9 e1001091。 [22] COLLOBERT，R.、KAVUKCUOGLU，K.和FARABET，C.（2011年）。Torch7：一个类似Matlab的机器学习环境。在BigLearn，NeurIPS研讨会. [23] COMBETTES，P.L.（2018）。凸优化中的单调算子理论。数学。程序。170 177至206页·Zbl 1471.47033号 ·doi:10.1007/s10107-018-1303-3 [24] COMBETTES，P.L.和PESQUET，J.-C.（2011）。信号处理中的近距离分裂方法。在科学与工程反问题的定点算法.Springer Optim公司。应用。49 185-212. 纽约州施普林格·Zbl 1242.90160号 ·doi:10.1007/978-1-4419-9569-810 [25] CONDAT，L.（2013）。一种用于凸优化的原对偶分裂方法，涉及Lipschitz、近似和线性组合项。J.优化。理论应用。158 460-479. ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9 [26] 威康信托案例控制联合会（2007年）。对7种常见疾病的14000例病例和3000例共享对照进行全基因组关联研究。自然447 661-678. [27] 库克·A·L·、陈·W·、瑟伯·A·E·、斯密特·D·J·、史密斯·A·G·、布莱登·T·G·，布朗·D·L·，达菲·D·L.·、帕斯托里诺·L·等人（2009年）。根据SLC45A2/MATP、SLC24A5/NCKX5和OCA2/P基因座内的多态性分析培养的人类黑素细胞。J.投资。皮肤科。129 392-405. [28] Cox，D.R.（1972）。回归模型和生命表。J.罗伊。统计师。Soc.序列号。B类34 187-220. ·Zbl 0243.62041号 [29] Dean，J.和Ghemawat，S.（2008年）。Mapreduce：简化大型集群上的数据处理。Commun公司。ACM公司51 107-113. [30] DEFAZIO，A.、BACH，F.和LACOSTE-JULIEN，S.（2014）。SAGA：一种支持非强凸复合目标的快速增量梯度方法。在NeurIPS公司2014高级神经信息。过程。系统。27 1646-1654. [31] Dempster，A.P.、Laird，N.M.和Rubin，D.B.（1977年）。通过EM算法从不完整数据中获得最大似然。J.罗伊。统计师。Soc.序列号。B类39 1-38. ·Zbl 0364.62022号 [32] DONOHO，D.（2017）。50年的数据科学。J.计算。图表。统计师。26 745-766. ·doi:10.1080/10618600.2017.1384734 [33] Duchi，J.C.、Jordan，M.I.、Wainwright，M.J.和Zhang，Y.（2014）。分布式统计估计的最优化保证。预打印。可从arXiv:1405.0782获取。 [34] DUPUIS，J.、LANGENBERG，C.、PROKOPENKO，I.、SAXENA，R.、SORANZO，N.、JACKSON，A.U.、WHEELER，E.、GLAZER，N.L.、BOUATIA-NAJI，N.等人（2010年）。与空腹血糖稳态相关的新基因位点及其对2型糖尿病风险的影响。自然遗传学。42 105-116. [35] EDDELBUETTEL，D.（2021）。使用R的并行计算：简要回顾。威利公司（Wiley Interdiscip）。利润.:计算。斯达。13论文编号e1515，13·doi:10.1002/wics.1515 [36] EIJKHOUT一案（2016年）。《高性能科学计算导论》，第二版，Lulu.com。 [37] ESSER，E.、ZHANG，X.和CHAN，T.F.（2010年）。成像科学中用于凸优化的一类一阶原对偶算法的一般框架。SIAM J.成像科学。3 1015-1046. ·Zbl 1206.90117号 ·数字对象标识码：10.1137/09076934X [38] EVANGELINOS，C.和HILL，C.N.（2008）。并行科学HPC应用的云计算：在亚马逊EC2上运行大气-海洋耦合气候模型的可行性。在CCA公司2008年ACM，纽约。 [39] FAN，J.、GUO，Y.和WANG，K.（2019年）。通信高效准确的统计估计。美国统计协会。·Zbl 07707218号 ·doi:10.1080/01621459.2021.1969238 [40] APACHE软件基金会（2021年）。”Apache Hadoop’，https://hadoop.apache.org。3.3.1版。访问时间：2021-07-03。 [41] 福克斯·A（2011）。云计算——作为一名科学家，这对我有什么好处？。科学类331 406-407. [42] GABAY，D.和MERCIER，B.（1976年）。通过有限元近似求解非线性变分问题的对偶算法。计算。数学。应用。2 17-40. ·Zbl 0352.65034号 [43] GABRIEL，E.，FAGG，G.E.，BOSILCA，G.，ANGSKUN，T.，DONGARRA，J.J.，SQUYRES，J.M.，SAHAY，V.，KAMBADUR，P.，BARRETT，B.等人（2004年）。开放MPI：下一代MPI实现的目标、概念和设计。在“11第届欧洲PVM/MPI用户小组会议97-104，匈牙利布达佩斯。 [44] GENTZSCH，W.（2001）。太阳网格引擎：致力于创建计算电网CCGRID公司2001 35-36. IEEE计算。加利福尼亚州洛斯阿拉米托斯Soc。 [45] GITTENS，A.、DEVARAKONDA，A.、RACAH，E.、RINGENBURG，M.、GERHARDT，L.、KOTTALAM，J.、LIU，J.，MASCHHOFF，K.、CANON，S.等人（2016年）。大规模矩阵分解：使用三个案例研究比较Spark和C+MPI中的科学数据分析。2016年IEEE大数据204-213. IEEE，纽约。 [46] Golub，G.H.和Van Loan，C.F.（2013年）。矩阵计算，第4版。约翰·霍普金斯数学科学研究约翰·霍普金斯大学出版社，马里兰州巴尔的摩·Zbl 1268.65037号 [47] GOWER，R.M.、LOIZOU，N.、QIAN，X.、SAILANBAYEV，A.、SHULGIN，E.和RICHTáRIK，P.（2019年）。SGD：一般分析和改进率。在ICML公司2019程序。机器。学习。物件。97 5200-5209. [48] GRIEWANK，A.和WALTHER，A.（2008）。评估衍生品:算法微分原理与技术第二版，SIAM，宾夕法尼亚州费城·Zbl 1159.65026号 ·doi:10.1137/1.9780898717761 [49] Gu，Y.、Fan，J.、Kong，L.、Ma，S.和Zou，H.（2018）。ADMM用于高维稀疏惩罚分位数回归。技术计量学60 319-331. ·doi:10.1080/00401706.2017.1345703 [50] HAGER，G.和WELLEIN，G.（2010年）。科学家和工程师高性能计算导论CRC出版社，佛罗里达州博卡拉顿。 [51] Hastie，T.J.和Tibshirani，R.J.（1990年）。广义可加模型.统计学和应用概率专著43.CRC出版社，伦敦·兹比尔074762061 [52] HUANG，D.W.，SHERMAN，B.T.和LEMPICKI，R.A.（2009年A）。生物信息学富集工具：大型基因列表综合功能分析的途径。核酸研究。37 1-13. [53] HUANG，D.W.，SHERMAN，B.T.和LEMPICKI，R.A.（2009年B）。利用DAVID生物信息学资源对大基因列表进行系统和综合分析。《国家协议》。4 44-57. [54] Huang，J.，Jiao，Y.，Liu，Y.和Lu，X.（2018）。惩罚回归的构造性方法。J.马赫。学习。物件。19第10号文件，37·Zbl 1444.62091号 [55] 黄J.、焦Y.、金B.、刘J.、卢X.和杨C.（2021）。一种用于非凸稀疏恢复的统一原-对偶活动集算法。统计师。科学。36 215-238. ·Zbl 07368234号 ·doi:10.1214/19-sts758 [56] Hunter，D.R.和Lange，K.（2004年）。MM算法教程。阿默尔。统计师。58 30-37. ·doi:10.1198/0003130042836 [57] Hunter，D.R.和Li，R.（2005）。使用MM算法选择变量。安。统计师。33 1617-1642. ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200 [58] IMAIZUMI，M.和FUKUMIZU，K.（2019年）。深度神经网络有效地学习非光滑函数。在AISTATS公司2019程序。机器。学习。物件。89 869-878. [59] INCUBATOR，F.（2021）。Gloo：用于多机器训练的带有各种原语的集合通信库。https://github.com/facebook孵化器/gloo。访问时间：2021-07-03。 [60] JANSSENS，B.（2021）。MPIArrays.jl：基于MPI单面通信的分布式阵列。https://github.com/barche/MPIArrays.jl。访问时间：2021-07-03。 [61] JHA，S.、QIU，J.、LUCKOW，A.、MANTHA，P.和FOX，G.C.（2014）。两个数据密集型范例的故事：应用程序、抽象和架构。2014年IEEE大数据645-652. IEEE，纽约。 [62] JIA，Y.、SHELHAMER，E.、DONAHUE，J.、KARAYEV，S.、LONG，J.，GIRSHICK，R.、GUADARRAMA，S.和DARRELL，T.（2014）。Caffe：用于快速特征嵌入的卷积架构。在毫米2014 675-678. 纽约ACM。 [63] JOHNSON，R.和ZHANG，T.（2013）。使用预测方差减少加速随机梯度下降。在NeurIPS公司2013高级神经信息。过程。系统。26 315-323. [64] Jordan，M.I.、Lee，J.D.和Yang，Y.（2019年）。通信效率高的分布式统计推断。J.Amer。统计师。协会。114 668-681. ·Zbl 1420.62097号 ·doi:10.1080/01621459.2018.1429274 [65] KEYS，K.L.，ZHOU，H.和LANGE，K.（2019年）。近距离算法：理论与实践。J.马赫。学习。物件。20第66、38号论文·Zbl 1489.90184号 [66] KIRK，D.（2007）。NVIDIA CUDA软件和GPU并行计算架构。在ISMM公司7 103-104. [67] KLØCKNER，A.、PINTO，N.、LEE，Y.、CATANZARO，B.、IVANOV，P.和FASIH，A.（2012年）。PyCUDA和PyOpenCL：一种基于脚本的GPU运行时代码生成方法。并行计算。38 157-174. [68] KO，S.（2020年）。易于并行化的统计计算方法及其在现代高性能计算环境中的应用。首尔国立大学博士论文。 [69] KO，S.和WON，J.-H.（2019）。用线性算子优化三个凸函数之和。在AISTATS公司2019程序。机器。学习。物件。89 1185-1194. [70] KO，S.，YU，D.和WON，J.-H.（2019年）。易于并行和可分发的一类算法，用于结构化稀疏性，具有最佳加速。J.计算。图表。统计师。28 821-833. ·Zbl 07499029号 ·doi:10.1080/10618600.2019.1592757 [71] KO S.、ZHOU H.、ZHOU J.J.和WON J.H.（2022年）。补充“20世纪20年代计算环境中的高性能统计计算”https://doi.org/10.1214/21-STS835SUPP网站 [72] KOANANTAKOOL，P.，AZAD，A.，BULU J.，A.，MOROZOV，D.，OH，S.-Y.，OLIKER，L.和YELICK，L.（2016）。避免并行稀疏密集矩阵矩阵乘法的通信。2016年IEEE IPDPS842-853. IEEE，纽约。 [73] KOANANTAKOOL，P.、ALI，A.、AZAD，A.、BULUC，A.、MOROZOV，D.、OLIKER，L.、YELICK，K.和OH，S.-Y.（2018年）。分布式大规模稀疏逆协方差估计的避免通信优化方法。在AISTATS公司2018程序。机器。学习。物件。84 1376-1386. [74] KUMMER，B.（1988年）。不可微函数的牛顿法。在数学优化研究进展（Guddat，J.、Bank，B.、Hollatz，H.、Kall，P.、Klatte，D.、Kummer，B.、Lommatzsch，K.、Tammer，K.和Vlach，M.等人编辑）。数学研究45 114-125. 柏林阿卡德米·弗拉格·Zbl 0662.65050号 [75] LAI，T.L.和YUAN，H.（2021）。随机近似：从统计起源到大数据，多学科应用。统计师。科学。36 291-302. ·Zbl 07368238号 ·doi:10.1214/20-sts784 [76] LAM，S.K.、PITROU，A.和SEIBERT，S.（2015）。Numba：基于LLVM的Python JIT编译器。在有限责任公司2015年7月，ACM，纽约，1-6。 [77] Lange，K.（2016）。MM优化算法宾夕法尼亚州费城SIAM·Zbl 1357.90002号 ·doi:10.1137/1.9781611974409.ch1 [78] LANGE，K.、HUNTER，D.R.和YANG，I.（2000年）。使用替代目标函数优化传输。J.计算。图表。统计师。9 1-59. ·doi:10.2307/1390605 [79] LeCun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。自然521 436-444. ·doi:10.1038/nature14539 [80] LEE，D.D.和SEUNG，H.S.（1999年）。通过非负矩阵分解学习对象的各个部分。自然401 788-791. ·Zbl 1369.68285号 [81] LEE，D.D.和SEUNG，H.S.（2001年）。非负矩阵分解算法。在NeurIPS公司2001高级神经信息。过程。系统。14 556-562. [82] LEE，J.D.、LIU，Q.、SUN，Y.和TAYLOR，J.E.（2017a）。通信效率高的稀疏回归。J.马赫。学习。物件。18第5、30号论文·Zbl 1434.62157号 [83] LEE，T.、WON，J.-H.、LIM，J.和YOON，S.（2017b）。通过多个GPU上的并行融合套索实现大规模结构化稀疏性。J.计算。图表。统计师。26 851-864. ·doi:10.1080/10618600.2017.1328363 [84] Li，X.，Sun，D.和Toh，K.-C.（2018年）。一种求解套索问题的高效半光滑牛顿增广拉格朗日方法。SIAM J.Optim公司。28 433-458. ·Zbl 1392.65062号 ·doi:10.1137/16M1097572 [85] LIM，H.、DEWARAJA，Y.K.和FESSLER，J.A.（2018年）。一种PET重建配方，在投影空间中强制非负性，以减少Y-90成像中的偏差。物理学。医学生物学。63 035042. [86] LIN，C.-J.（2007）。非负矩阵分解的投影梯度方法。神经计算。19 2756-2779. ·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756 [87] 刘旭、李毅、唐骏和闫明（2020）。用于有效分布式学习的双残差压缩算法。在AISTATS公司2020程序。机器。学习。物件。108 133-143. [88] MAHAJAN，A.，TALIUN，D.，THURNER，M.，ROBERTSON，N.R.，TORRES，J.M.，RAYNER，N.W.，PAYNE，A.J.，STEINTHORSDOTTIR，V.，SCOTT，R.A.等人（2018年）。使用高密度插补和胰岛特异表观基因组图将2型糖尿病基因座精细定位到单变量分辨率。自然遗传学。50 1505-1513. [89] MCLAREN，W.、GIL，L.、HUNT，S.E.、RIAT，H.S.、RITCHIE，G.R.、THORMANN，A.、FLICEK，P.和CUNNINGHAM，F.（2016）。信号群变种效应预测器。基因组生物学。17 122. [90] MITTAL，S.、MADIGAN，D.、BURD，R.S.和SUCHARD，M.A.（2014）。生存分析的高维、大样本Cox比例风险回归。生物统计学15 207-221. [91] MUNSHI，A.（2009年）。OpenCL规范。2009年IEEE HCS标准1-314. IEEE，纽约。 [92] NAKANO，J.（2012）。并行计算技术。在计算统计手册-概念和方法. 1, 2.Springer Handb公司。计算。斯达。243-271. 施普林格，海德堡·doi:10.1007/978-3642-21551-39 [93] Negahban，S.N.、Ravikumar，P.、Wainwright，M.J.和Yu，B.（2012）。具有可分解正则化子的M估计量高维分析的统一框架。统计师。科学。27 538-557之间·Zbl 1331.62350号 ·doi:10.1214/12-STS400 [94] NERSC（2021）。分布式TensorFlow。https://docs.nersc.gov/machinelearning/tensorflow/#分布式-张量流。访问时间：2021-07-03。 [95] NG，M.C.、SHRINER，D.、CHEN，B.H.、LI，J.、CHEN、W.-M.、GUO，X.、LIU，J.，BIELINSKI，S.J.、YANEK，L.R.等人（2014）。对非裔美国人全基因组关联研究的荟萃分析为2型糖尿病的遗传结构提供了见解。公共科学图书馆-遗传学。10 e1004517。 [96] NITANDA，A.（2014）。使用加速技术的随机近端梯度下降。在NeurIPS公司2014高级神经信息。过程。系统。27 1574-1582. [97] NVIDIA（2021a）。基本线性代数子程序（cuBLAS）库。http://docs.nvidia.com/cuda/cublas。访问时间：2021-07-03。 [98] NVIDIA（2021b）。稀疏矩阵库（cuSPARSE）。http://docs.nvidia.com/cuda/cusparse。访问时间：2021-07-03。 [99] O'HARA，R.B.和SILLANP Abada，M.J.（2009年）。贝叶斯变量选择方法综述：什么、如何以及是什么。贝叶斯分析。4 85-117. ·Zbl 1330.62291号 ·doi:10.1214/09-BA403 [100] OHN，I.和KIM，Y.（2019年）。用具有一般激活函数的深度神经网络进行光滑函数逼近。熵21第627、21号论文·doi:10.3390/e21070627 [101] OWENS，J.D.、LUEBKE，D.、GOVINDARAJU，N.、HARRIS，M.、KRüGER，J.、LEFOHN，A.E.和PURCELL，T.J.（2007年）。图形硬件通用计算综述。在计算机图形学论坛26 80-113. 纽约威利。 [102] Parikh，N.和Boyd，S.（2014年）。近端算法。已找到。趋势优化。1 127-239. [103] PASZKE，A.，GROSS，S.，MASSA，F.，LERER，A.，BRADBURY，J.，CHANAN，G.，KILLEEN，T.，LIN，Z.，GIMELSHEIN，N.等人（2019年）。PyTorch：一个命令式、高性能的深度学习库。在NeurIPS公司2019高级神经信息。过程。系统。32 8026-8037. [104] Polson，N.G.、Scott，J.G.和Willard，B.T.（2015）。统计和机器学习中的近似算法。统计师。科学。30 559-581·Zbl 1426.62213号 ·doi:10.1214/15-STS530 [105] QI，L.Q.和SUN，J.（1993）。牛顿方法的非光滑版本。数学。程序。58 353-367. ·Zbl 0780.90090号 ·doi:10.1007/BF01581275 [106] QIAN，X.，QU，Z.和RICHTáRIK，P.（2019年）。任意采样的SAGA。在ICML公司2019程序。机器。学习。物件。97 5190-5199. [107] RAINA，R.、MADHAVAN，A.和NG，A.Y.（2009年）。使用图形处理器进行大规模深度无监督学习。在ICML公司2009 873-880. 纽约ACM。 [108] RAMDAS，A.和TIBSHIRANI，R.J.（2016）。用于趋势过滤的快速灵活ADMM算法。J.计算。图表。统计师。25 839-858. ·doi:10.1080/10618600.2015.1054033 [109] HYPERION研究（2019）。HPC市场更新自2019年ISC，技术报告，Hyperion Research。 [110] REYES，A.R.（2021）。r火炬。https://f0nzie.github.io/rTorch/。访问时间：2021-07-03。 [111] REYES-ORTIZ，J.L.、ONETO，L.和ANGUITA，D.（2015）。云中的大数据分析：Hadoop上的Spark与Beowulf上的MPI/OpenMP。在INNS大数据会议8 121。 [112] RICHTáRIK，P.和TAKá采，M.（2016a）。随机坐标下降法中的最优概率。优化。莱特。10 1233-1243. ·Zbl 1353.90148号 ·doi:10.1007/s11590-015-0916-1 [113] RICHTáRIK，P.和TAKá采，M.（2016b）。大数据优化的并行坐标下降法。数学。程序。156 433-484. ·兹比尔1342.90102 ·doi:10.1007/s10107-015-0901-6 [114] Robbins，H.和Monro，S.（1951年）。一种随机近似方法。安。数学。斯达。22 400-407. ·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [115] CH.ROLAND、R.VARADHAN和C.E.FRANGAKIS（2007年）。带循环的平方多项式外推方法：正电子发射层析成像问题的应用。数字。算法44 159-172. ·Zbl 1123.65043号 ·doi:10.1007/s11075-007-9094-2 [116] 罗斯科，L.，维拉，S.和VŨ，B.C.（2020）。随机近似梯度算法的收敛性。申请。数学。最佳方案。82 891-917. ·Zbl 1465.90101号 ·doi:10.1007/s00245-019-09617-7 [117] RSTUDIO（2021）。”TensorFlow的R接口'，https://tensorflow.rstudio.com/。2.5.0版。访问时间：2021-07-03。 [118] Rudin，L.I.、Osher，S.和Fatemi，E.（1992年）。基于非线性全变分的噪声去除算法。物理学。D类60 259-268. ·Zbl 0780.49028号 ·doi:10.1016/0167-2789（92）90242-F [119] RUMELHART，D.E.、HINTON，G.E.和WILLIAMS，R.J.（1986年）。通过反向传播错误学习表示。自然323 533-536. ·Zbl 1369.68284号 [120] RYU，E.K.，KO，S.和WON，J.-H（2020）。近循环线性系统的分裂：在全变分CT和PET中的应用。SIAM J.科学。计算。42 B185-B206·Zbl 1448.92113号 ·doi:10.1137/18M1224003 [121] Schmidt-Hieber，J.（2020年）。使用ReLU激活函数的深度神经网络进行非参数回归。安。统计师。48 1875-1897. ·Zbl 1459.62059号 ·doi:10.1214/19-AOS1875 [122] SCOTT，L.J.、MOHLKE，K.L.、BONNYCASTLE，L.L.、WILLER，C.J.、LI，Y.、DUREN，W.L.，ERDOS，M.R.、STRINGHAM，H.M.、CHINES，P.S.等人（2007年）。芬兰人2型糖尿病的全基因组关联研究检测出多种易感性变体。科学类316 1341-1345. [123] SEIDE，F.和AGARWAL，A.（2016年）。CNTK：微软的开源深度学习工具包。在SIGKDD公司2016 2135-2135. 纽约ACM。 [124] SERGEEV，A.和DEL BALSO，M.（2018年）。Horovod：张量流中快速且容易的分布式深度学习。预印。arXiv:1802.05799提供。 [125] SERVICES，A.W.（2021）。AWS平行集群。https://aws.amazon.com/ko/hpc/parallelcluster/。版本2.11.0。访问时间：2021-07-03。 [126] STAPLES，G.（2006）。扭矩资源管理器。在联合国安全理事会2006 8. ACM，纽约。 [127] SUCHARD，M.A.、WANG，Q.、CHAN，C.、FRELINGER，J.、CRON，A.和WEST，M.（2010）。了解用于统计计算的GPU编程：大规模并行大规模混合的研究。J.计算。图表。统计师。19 419-438. ·doi:10.1198/jcgs.2010.10016 [128] SUCHARD，M.A.、SIMPSON，S.E.、ZORYCH，I.、RYAN，P.和MADIGAN，D.（2013）。复杂广义线性模型串行推理算法的大规模并行化。ACM事务处理。模型。计算。模拟。23第10、17条·Zbl 1386.65065号 ·doi:10.1145/2414416.2414791 [129] SUDLOW，C.，GALLACHER，J.，ALLEN，N.，BERAL，V.，BURTON，P.，DANESH，J.、DOWNEY，P.、ELLIOTT，P.和GREEN，J.等人（2015年）。英国生物银行：一种开放获取的资源，用于确定多种中老年复杂疾病的病因。公共科学图书馆-医学。12 e1001779。 [130] 铃木，T.（2019）。深度ReLU网络在Besov和混合光滑Besov空间中学习的适应性：最优速率和维数诅咒。在ICLR公司2019 [131] 唐浩、余川、连小新、张涛和刘杰（2019）\[\mathtt{DoubleSqueeze}\]：并行随机梯度下降与双通误差补偿压缩。在ICML公司2019程序。机器。学习。物件。97 6155-6165. [132] THEANO开发团队（2016）。Theano：用于快速计算数学表达式的Python框架。预印。可从arXiv:1605.02688获取。 [133] 茱莉亚平行队（2021年）。DistributedArrays.jl：Julia中的分布式数组。https://github.com/JuliaParallel/DistributedArrays.jl。访问时间：2021-07-03。 [134] R核心团队（2021年）\（R）：统计计算语言与环境.R统计计算基金会，奥地利维也纳。 [135] Tibshirani，R.（1996）。通过套索回归收缩和选择。J.罗伊。统计师。Soc.序列号。B类58 267-288. ·Zbl 0850.62538号 [136] Tibshirani，R.J.和Taylor，J.（2011年）。广义套索的解路径。安。统计师。39 1335-1371. ·Zbl 1234.62107号 ·doi:10.1214/11-AOS878 [137] TIELEMAN，T.（2010）。Gnumpy：多伦多大学计算机科学系Python技术报告UTML TR 2010-002中GPU板的简单使用方法。 [138] TSENG，P.和YUN，S.（2009年）。非光滑可分离极小化问题的坐标梯度下降法。数学。程序。117 387-423. ·Zbl 1166.90016号 ·doi:10.1007/s10107-007-0170-0 [139] 苏黎世大学（2021）。ElastiCluster公司。https://elasticluster.readthedocs.io/en/latest/。访问时间：2021-07-03。 [140] USHEY，K.、ALLAIRE，J.和TANG，Y.（2021）。网状：“Python”的接口。https://cran.r-project.org/package=reticulate。版本1.20。访问时间：2021-07-03。 [141] VAN ROSSUM，G.（1995年）。Python教程技术报告CS-R9526，Centrum voor Wiskunde en Informatica（CWI），阿姆斯特丹。 [142] VAN DE GEIJN，R.A.和WATTS，J.（1997）。可扩展通用矩阵乘法算法。并发:实践与经验9 255-274. [143] VOIGHT，B.F.、SCOTT，L.J.、STEINTHORSDOTTIR，V.、MORIS，A.P.、DINA，C.、WELCH，R.P.、ZEGGINI，E.、HUTH，C.、AULCHENKO，Y.S.等人（2010年）。通过大规模关联分析确定了12个2型糖尿病易感位点。自然遗传学。42 579. [144] VŨ，B.C.（2013年）。涉及余强制算子的对偶单调包含的分裂算法。高级计算。数学。38 667-681. ·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8 [145] WALKER，E.（2008）。针对高性能科学计算对Amazon EC2进行基准测试。登录::USENIX和SAGE杂志33 18-23. [146] 王，E.，张，Q.，沈，B.，张，G.，LU，X.，WU，Q.和王，Y.（2014）。英特尔数学内核库。在Intel上的高性能计算®至强融核™ 167-188. 柏林施普林格。 [147] WANG，J.、KOLAR，M.、SREBRO，N.和ZHANG，T.（2017）。高效的稀疏分布式学习。在ICML公司2017程序。机器。学习。物件。70 3636-3645. [148] WON，J.-H.（2020年）。矩阵透视函数的邻近算子及其应用。在NeurIPS公司2020高级神经信息。过程。系统。33 [149] WRIGHT，S.J.（2015）。坐标下降算法。数学。程序。151 3-34. ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3 [150] WU，T.T.和LANGE，K.（2010年）。MM替代EM。统计师。科学。25 492-505. ·Zbl 1329.62106号 ·doi:10.1214/08-STS264 [151] 肖磊（XIAO，L.）和张涛（ZHANG，T.）（2014）。具有逐步方差减少的近似随机梯度法。SIAM J.优化。24 2057-2075. ·Zbl 1321.65016号 ·数字对象标识代码：10.1137/140961791 [152] XUE，L.，MA，S.和ZOU，H.（2012）。大协方差矩阵的正定\[{\ell_1}\]-惩罚估计。J.Amer。统计师。协会。107 1480-1491. ·Zbl 1258.62063号 ·doi:10.1080/016214592012.725386 [153] YOO，A.B.、JETTE，M.A.和GRONDONA，M.（2003）。Slurm：用于资源管理的简单Linux实用程序。在JSSPP公司2003 44-60. 柏林施普林格。 [154] YU，D.，WON，J.-H.，LEE，T.，LIM，J.和YOON，S.（2015）。使用优化-最小化和并行处理的高维融合拉索回归。J.计算。图表。统计师。24 121-153. ·doi:10.1080/10618600.2013.878662 [155] ZAHARIA，M.、CHOWDHURY，M.，FRANKLIN，M.J.、SHENKER，S.、STOICA，I.等人（2010年）。Spark：使用工作集的集群计算。热云10 95. [156] Zhang，Y.，Duchi，J.C.和Wainwright，M.J.（2013）。统计优化的通信高效算法。J.马赫。学习。物件。14 3321-3363. ·Zbl 1318.62016号 [157] ZHANG，X.，WANG，Q.和CHOTHIA，Z.（2021）。OpenBLAS：一个优化的BLAS库。https://www.openblas.net/。访问时间：2021-07-03。 [158] ZHOU，H.、LANGE，K.和SUCHARD，M.A.（2010年）。图形处理单元和高维优化。统计师。科学。25 311-324之间·Zbl 1329.62028号 ·doi:10.1214/10-STS336 [159] 朱毅（2017）。一种增广的ADMM算法及其在广义拉索问题中的应用。J.计算。图表。统计师。26 195-204. ·doi:10.1080/10618600.2015.1114491 [160] ZHU，M.和CHAN，T.（2008）。一种有效的全变分图像恢复原-对偶混合梯度算法加州大学洛杉矶分校CAM技术报告08-34 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。