Ko、Seyoon;周,华;周金杰。;元,钟浩 20世纪20年代计算环境中的高性能统计计算。 (英文) Zbl 07612069号 统计科学。 37,第4期,494-518(2022年). 总结:过去十年的技术进步,无论是硬件还是软件,都使得获得高性能计算(HPC)变得比以往任何时候都容易。我们从统计计算的角度回顾了这些进展。云计算使超级计算机的使用变得负担得起。深度学习软件库使统计算法编程变得简单,并使用户能够编写一次代码并在任何地方运行——从笔记本电脑到具有多个图形处理单元(GPU)的工作站或云中的超级计算机。为了突出这些发展如何使统计学家受益,我们回顾了最新的优化算法,这些算法对高维模型很有用,并且可以利用HPC的威力。提供的代码片段用于演示编程的简易性。我们还提供适用于HPC的易于使用的分布式矩阵数据结构。利用这种数据结构,我们说明了各种统计应用,包括大规模正电子发射断层成像和正则化Cox回归。我们的示例可以轻松扩展到云中的8-GPU工作站和720-CPU核心集群。作为一个恰当的例子,我们使用HPC正则化Cox回归分析了来自英国生物银行的20万受试者和约50万个单核苷酸多态性的2型糖尿病发病情况。拟合这个50万变量的模型只需不到45分钟,并重新确认了已知的关联。据我们所知,这是首次证明在这种范围内对生存结果进行惩罚回归的可行性。 引用于1文件 MSC公司: 62至XX 统计 关键词:高性能统计计算;图形处理单元(GPU);云计算;深度学习;MM算法;ADMM公司;PDHG公司;Cox回归 软件:github;Hadoop公司;泥浆;卡费;库达;OpenBLAS(开放BLAS);对;开放式多媒体接口;火炬;西雅娜;戴维;MXNet公司;TensorFlow公司;火花;CUDAnative.jl公司;分布式阵列.jl;取消锁定BoX;BLAS公司;MPI阵列.jl;SUMMA(总结);PyCUDA公司;DiffSharp(差异锐化);MapReduce;努姆巴;问题列表;网状的;MKL公司;蟒蛇;太阳网格引擎;CUBLAS公司;gputools公司;PyOpenCL公司;PyTorch公司;开放运算语言;CUDA.jl公司;碳纳米管;朱莉娅;传奇;解析(CUSPARSE) PDF格式BibTeX公司 XML格式引用 \textit{S.Ko}等人,《统计科学》。37,编号4,494--518(2022;Zbl 07612069) 全文: 内政部 arXiv公司 链接 参考文献: [1] ABADI,M.、AGARWAL,A.、BARHAM,P.、BREVDO,E.、CHEN,Z.、CITRO,C.、CORRADO,G.S.、DAVIS,A.、DEAN,J.等人(2016年)。TensorFlow:异构系统上的大规模机器学习。预印本。可在arXiv:1603.04467获得。软件可从以下位置获得:https://tensorflow.org。 [2] ARMBRUST,M.、FOX,A.、GRIFFITH,R.、JOSEPH,A.D.、KATZ,R.,KONWINSKI,A.、LEE,G.、PATTERSON,D.、RABKIN,A.等人(2010年)。云计算视图。Commun公司。ACM公司53 50-58. [3] ATCHADé,Y.F.,FORT,G.和MOULINES,E.(2017年)。关于扰动近似梯度算法。J.马赫。学习。物件。18第10、33号论文·Zbl 1433.90199号 [4] BAHRAMPOUR,S.、RAMAKRISHNAN,N.、SCHOTT,L.和SHAH,M.(2016)。深度学习软件框架的比较研究。预印。可从arXiv:1511.06435获取。 [5] BALLARD,G.、DEMMEL,J.、HOLTZ,O.和SCHWARTZ,O..(2011年)。数字线性代数中的通信最小化。SIAM J.矩阵分析。申请。32 866-901. ·Zbl 1246.68128号 ·doi:10.1137/090769156 [6] Bauer,B.和Kohler,M.(2019年)。深度学习作为非参数回归中维度诅咒的补救方法。安。统计师。47 2261-2285. ·Zbl 1421.62036号 ·doi:10.1214/18-AOS1747 [7] BAYDIN,A.G.、PEARLMUTTER,B.A.、RADUL,A.A.和SISKIND,J.M.(2017)。机器学习中的自动区分:一项调查。J.马赫。学习。物件。18第153、43号论文·兹伯利06982909 [8] BECK,A.(2017年)。最优化中的一阶方法.MOS-SIAM优化系列25.宾夕法尼亚州费城SIAM·doi:10.1137/1.9781611974997.ch1 [9] Beck,A.和Teboulle,M.(2009年)。线性反问题的快速迭代收缩阈值算法。SIAM J.成像科学。2 183-202. ·Zbl 1175.94009号 ·doi:10.1137/080716542 [10] BESARD,T.、FOKET,C.和DE SUTTER,B.(2019年)。有效的可扩展编程:在GPU上释放Julia。IEEE传输。平行配送系统。30 827-841. [11] Bezanson,J.、Edelman,A.、Karpinski,S.和Shah,V.B.(2017)。朱莉娅:一种新的数值计算方法。SIAM版本。59 65-98. ·兹比尔1356.68030 ·数字对象标识代码:10.1137/141000671 [12] 布莱克福德,L.S.等人(2002年)。一组更新的基本线性代数子程序(BLAS)。ACM事务处理。数学。软件28 135-151. ·Zbl 1070.65520号 ·数字对象标识代码:10.1145/567806.567807 [13] Boyd,S.、Parikh,N.、Chu,E.、Peleato,B.和Eckstein,J.(2011)。通过交替方向乘数法进行分布式优化和统计学习。已找到。趋势马赫数。学习。3 1-122. ·Zbl 1229.90122号 [14] BUCKNER,J.、WILSON,J.、SELIGMAN,M.、ATHEY,B.、WATSON,S.和MENG,F.(2009年)。gputools包支持R中的GPU计算。生物信息学26 134-135. [15] Chambolle,A.和Pock,T.(2011年)。凸问题的一阶原对偶算法及其在成像中的应用。数学杂志。图像视觉40 120-145. ·Zbl 1255.68217号 ·doi:10.1007/s10851-010-0251-1 [16] CHAMBOLLE,A.、EHRHARDT,M.J.、RICHTáRIK,P.和SCHNLIEB,C.-B.(2018年)。具有任意采样和成像应用的随机原始-对偶混合梯度算法。SIAM J.Optim公司。28 2783-2808. ·Zbl 06951767号 ·doi:10.1137/17M1134834 [17] CHEN,Y.、LAN,G.和OUYANG,Y.(2014)。一类鞍点问题的最优原对偶方法。SIAM J.优化。24 1779-1814. ·Zbl 1329.90090号 ·doi:10.1137/130919362 [18] CHEN,T.,LI,M.,LI,Y.,LIN,M..,WANG,N.,WANG。MXNet:用于异构分布式系统的灵活高效的机器学习库。预印。可从arXiv:1512.01274获取。 [19] CHI,E.C.、ZHOU,H.和LANGE,K.(2014)。距离优化及其应用。数学。程序。146 409-436. ·Zbl 1297.65067号 ·doi:10.1007/s10107-013-0697-1 [20] CHU,D.、ZHANG,C.、SUN,S.和TAO,Q.(2020)。有效投影到\[{ell_{1,\infty}}\]-范数球上的半光滑牛顿算法。在ICML公司2020程序。机器。学习。物件。119 1974-1983. [21] CHURCH,D.M.、SCHNEIDER,V.A.、GRAVES,T.、AUGER,K.、CUNNINGHAM,F.、BOUK,N.、CHEN,H.-C.、AGARWALA,R.、MCLAREN,W.M.等人(2011年)。现代化参考基因组组装。《公共科学图书馆·生物》。9 e1001091。 [22] COLLOBERT,R.、KAVUKCUOGLU,K.和FARABET,C.(2011年)。火炬7:机器学习的类似Matlab的环境。在BigLearn,NeurIPS研讨会. [23] COMBETTES,P.L.(2018)。凸优化中的单调算子理论。数学。程序。170 177-206. ·兹比尔1471.47033 ·doi:10.1007/s10107-018-1303-3 [24] COMBETTES,P.L.和PESQUET,J.-C.(2011)。信号处理中的近距离分裂方法。在科学与工程反问题的定点算法.Springer Optim公司。申请。49 185-212. 纽约州施普林格·Zbl 1242.90160号 ·doi:10.1007/978-1-4419-9569-810 [25] CONDAT,L.(2013)。一种用于凸优化的原对偶分裂方法,涉及Lipschitz、近似和线性组合项。J.优化。理论应用。158 460-479. ·Zbl 1272.90110号 ·doi:10.1007/s10957-012-0245-9 [26] 威康信托案例控制联合会(2007年)。对14000例七种常见疾病和3000例共同对照进行的全基因组关联研究。性质447 661-678. [27] 库克·A·L·、陈·W·、瑟伯·A·E·、斯密特·D·J·、史密斯·A·G·、布莱登·T·G·,布朗·D·L·,达菲·D·L.·、帕斯托里诺·L·等人(2009年)。根据SLC45A2/MATP、SLC24A5/NCKX5和OCA2/P基因座内的多态性分析培养的人类黑素细胞。J.投资。皮肤病。129 392-405. [28] Cox,D.R.(1972)。回归模型和生命表。J.罗伊。统计师。Soc.系列。B类34 187-220. ·Zbl 0243.62041号 [29] Dean,J.和Ghemawat,S.(2008年)。Mapreduce:简化大型集群上的数据处理。Commun公司。ACM公司51 107-113. [30] DEFAZIO,A.、BACH,F.和LACOSTE-JULIEN,S.(2014)。SAGA:一种支持非强凸复合目标的快速增量梯度方法。在NeurIPS公司2014高级神经信息。过程。系统。27 1646-1654. [31] Dempster,A.P.、Laird,N.M.和Rubin,D.B.(1977年)。通过EM算法从不完整数据中获得最大似然。J.罗伊。统计师。Soc.系列。B类39 1-38. ·Zbl 0364.62022号 [32] DONOHO,D.(2017)。50年的数据科学。J.计算。图表。统计师。26 745-766. ·doi:10.1080/10618600.2017.1384734 [33] Duchi,J.C.、Jordan,M.I.、Wainwright,M.J.和Zhang,Y.(2014)。分布式统计估计的最优化保证。预打印。可从arXiv:1405.0782获取。 [34] DUPUIS,J.、LANGENBERG,C.、PROKOPENKO,I.、SAXENA,R.、SORANZO,N.、JACKSON,A.U.、WHEELER,E.、GLAZER,N.L.、BOUATIA-NAJI,N.等人(2010年)。与空腹血糖稳态相关的新基因位点及其对2型糖尿病风险的影响。自然遗传学。42 105-116. [35] EDDELBUETTEL,D.(2021年)。使用R的并行计算:简要回顾。威利公司(Wiley Interdiscip)。利润.:计算。斯达。13论文编号e1515,13·doi:10.1002/wics.1515 [36] EIJKHOUT,V.(2016)。《高性能科学计算导论》,第二版,Lulu.com。 [37] ESSER,E.、ZHANG,X.和CHAN,T.F.(2010年)。成像科学中凸优化的一类一阶原对偶算法的一般框架。SIAM J.成像科学。3 1015-1046. ·Zbl 1206.90117号 ·数字对象标识码:10.1137/09076934X [38] EVANGELINOS,C.和HILL,C.N.(2008)。并行科学HPC应用的云计算:在亚马逊EC2上运行大气-海洋耦合气候模型的可行性。在CCA公司2008年ACM,纽约。 [39] FAN,J.、GUO,Y.和WANG,K.(2019年)。通信高效准确的统计估计。美国统计协会。·Zbl 07707218号 ·doi:10.1080/01621459.2021.1969238 [40] APACHE软件基金会(2021年)。”Apache Hadoop’,https://hadoop.apache.org。3.3.1版。访问时间:2021-07-03。 [41] 福克斯·A(2011)。云计算——作为一名科学家,这对我有什么好处?。科学类331 406-407. [42] GABAY,D.和MERCIER,B.(1976年)。通过有限元近似求解非线性变分问题的对偶算法。计算。数学。申请。2 17-40. ·Zbl 0352.65034号 [43] GABRIEL,E.,FAGG,G.E.,BOSILCA,G.,ANGSKUN,T.,DONGARRA,J.J.,SQUYRES,J.M.,SAHAY,V.,KAMBADUR,P.,BARRETT,B.等人(2004年)。开放式MPI:下一代MPI实现的目标、概念和设计。在“11第届欧洲PVM/MPI用户小组会议97-104,匈牙利布达佩斯。 [44] GENTZSCH,W.(2001年)。太阳网格引擎:致力于创建计算电网CCGRID公司2001 35-36. IEEE计算。加利福尼亚州洛斯阿拉米托斯Soc。 [45] GITTENS,A.、DEVARAKONDA,A.、RACAH,E.、RINGENBURG,M.、GERHARDT,L.、KOTTALAM,J.、LIU,J.,MASCHHOFF,K.、CANON,S.等人(2016年)。大规模矩阵分解:使用三个案例研究比较Spark和C+MPI中的科学数据分析。2016年IEEE大数据204-213. IEEE,纽约。 [46] Golub,G.H.和Van Loan,C.F.(2013年)。矩阵计算,第4版。约翰·霍普金斯大学数学科学研究约翰·霍普金斯大学出版社,马里兰州巴尔的摩·Zbl 1268.65037号 [47] GOWER,R.M.、LOIZOU,N.、QIAN,X.、SAILANBAYEV,A.、SHULGIN,E.和RICHTáRIK,P.(2019年)。SGD:一般分析和改进率。在ICML公司2019程序。机器。学习。物件。97 5200-5209. [48] GRIEWANK,A.和WALTHER,A.(2008)。评估衍生品:算法微分原理与技术第二版,SIAM,宾夕法尼亚州费城·Zbl 1159.65026号 ·doi:10.1137/1.9780898717761 [49] Gu,Y.、Fan,J.、Kong,L.、Ma,S.和Zou,H.(2018)。ADMM用于高维稀疏惩罚分位数回归。技术计量学60 319-331. ·doi:10.1080/00401706.2017.1345703 [50] HAGER,G.和WELLEIN,G.(2010年)。科学家和工程师高性能计算导论CRC出版社,佛罗里达州博卡拉顿。 [51] Hastie,T.J.和Tibshirani,R.J.(1990年)。广义可加模型.统计学和应用概率专著43.CRC出版社,伦敦·Zbl 0747.62061号 [52] HUANG,D.W.,SHERMAN,B.T.和LEMPICKI,R.A.(2009年A)。生物信息学富集工具:大型基因列表综合功能分析的途径。核酸研究。37 1-13. [53] HUANG,D.W.,SHERMAN,B.T.和LEMPICKI,R.A.(2009年B)。利用DAVID生物信息学资源对大基因列表进行系统和综合分析。《国家协议》。4 44-57. [54] Huang,J.,Jiao,Y.,Liu,Y.和Lu,X.(2018)。惩罚回归的构造性方法。J.马赫。学习。物件。19第10、37号论文·Zbl 1444.62091号 [55] 黄J.、焦Y.、金B.、刘J.、卢X.和杨C.(2021)。一种用于非凸稀疏恢复的统一原-对偶活动集算法。统计师。科学。36 215-238. ·Zbl 07368234号 ·doi:10.1214/19-sts758 [56] Hunter,D.R.和Lange,K.(2004年)。MM算法教程。阿默尔。统计师。58 30-37. ·doi:10.1198/0003130042836 [57] Hunter,D.R.和Li,R.(2005)。使用MM算法选择变量。安。统计师。33 1617-1642. ·Zbl 1078.62028号 ·doi:10.1214/009053605000000200 [58] IMAIZUMI,M.和FUKUMIZU,K.(2019年)。深度神经网络有效地学习非光滑函数。在AISTATS公司2019程序。机器。学习。物件。89 869-878. [59] INCUBATOR,F.(2021)。Gloo:用于多机器训练的带有各种原语的集合通信库。https://github.com/facebook孵化器/gloo。访问时间:2021-07-03。 [60] JANSSENS,B.(2021年)。MPIArrays.jl:基于MPI单面通信的分布式阵列。https://github.com/barche/MPIArrays.jl。访问时间:2021-07-03。 [61] JHA,S.、QIU,J.、LUCKOW,A.、MANTHA,P.和FOX,G.C.(2014)。两个数据密集型范式的故事:应用程序、抽象和体系结构。2014年IEEE大数据645-652. IEEE,纽约。 [62] JIA,Y.、SHELHAMER,E.、DONAHUE,J.、KARAYEV,S.、LONG,J.、GIRSICK,R.、GUDARRAMA,S.和DARRELL,T.(2014)。Caffe:快速特征嵌入的卷积架构。在MM(毫米)2014 675-678. 纽约ACM。 [63] JOHNSON,R.和ZHANG,T.(2013)。使用预测方差减少加速随机梯度下降。在NeurIPS公司2013高级神经信息。过程。系统。26 315-323. [64] Jordan,M.I.、Lee,J.D.和Yang,Y.(2019年)。通信效率高的分布式统计推断。J.Amer。统计师。协会。114 668-681. ·Zbl 1420.62097号 ·doi:10.1080/016214529.2018年14月29274日 [65] KEYS,K.L.,ZHOU,H.和LANGE,K.(2019年)。近距离算法:理论与实践。J.马赫。学习。物件。20第66、38号论文·Zbl 1489.90184号 [66] KIRK,D.(2007)。NVIDIA CUDA软件和GPU并行计算架构。在ISMM公司7 103-104. [67] KLØCKNER,A.、PINTO,N.、LEE,Y.、CATANZARO,B.、IVANOV,P.和FASIH,A.(2012年)。PyCUDA和PyOpenCL:一种基于脚本的GPU运行时代码生成方法。并行计算。38 157-174. [68] KO,S.(2020年)。易于并行化的统计计算方法及其在现代高性能计算环境中的应用。首尔国立大学博士论文。 [69] KO,S.和WON,J.-H.(2019年)。用线性算子优化三个凸函数之和。在AISTATS公司2019程序。机器。学习。物件。89 1185-1194. [70] KO,S.,YU,D.和WON,J.-H.(2019年)。易于并行和可分配的结构化稀疏算法类,具有最佳加速。J.计算。图表。统计师。28 821-833. ·兹比尔07499029 ·doi:10.1080/10618600.2019.1592757 [71] KO S.、ZHOU H.、ZHOU J.J.和WON J.H.(2022年)。补充“20世纪20年代计算环境中的高性能统计计算”https://doi.org/10.1214/21-STS835SUPP [72] KOANANTAKOOL,P.,AZAD,A.,BULU J.,A.,MOROZOV,D.,OH,S.-Y.,OLIKER,L.和YELICK,L.(2016)。通信-避免并行稀疏密集矩阵-矩阵乘法。2016年IEEE IPDPS842-853. IEEE,纽约。 [73] KOANANTAKOOL,P.、ALI,A.、AZAD,A.、BULUC,A.、MOROZOV,D.、OLIKER,L.、YELICK,K.和OH,S.-Y.(2018年)。分布式大规模稀疏逆协方差估计的避免通信优化方法。在AISTATS公司2018程序。机器。学习。物件。84 1376-1386. [74] KUMMER,B.(1988)。不可微函数的牛顿法。在数学优化研究进展(Guddat,J.、Bank,B.、Hollatz,H.、Kall,P.、Klatte,D.、Kummer,B.、Lommatzsch,K.、Tammer,K.、Vlach,M.等人编辑)。数学研究45 114-125. 柏林阿卡德米·弗拉格·Zbl 0662.65050号 [75] LAI,T.L.和YUAN,H.(2021)。随机近似:从统计起源到大数据,多学科应用。统计师。科学。36 291-302. ·Zbl 07368238号 ·doi:10.1214/20-sts784 [76] LAM,S.K.、PITROU,A.和SEIBERT,S.(2015)。Numba:基于LLVM的Python JIT编译器。在有限责任公司2015年7月,ACM,纽约,1-6。 [77] Lange,K.(2016)。MM优化算法宾夕法尼亚州费城SIAM·Zbl 1357.90002号 ·doi:10.1137/1.9781611974409.ch1 [78] LANGE,K.、HUNTER,D.R.和YANG,I.(2000)。使用替代目标函数优化传输。J.计算。图表。统计师。9 1-59. ·doi:10.307/1390605 [79] LeCun,Y.、Bengio,Y.和Hinton,G.(2015)。深度学习。性质521 436-444. ·doi:10.1038/自然14539 [80] LEE,D.D.和SEUNG,H.S.(1999年)。通过非负矩阵分解学习对象的各个部分。性质401 788-791. ·Zbl 1369.68285号 [81] LEE,D.D.和SEUNG,H.S.(2001年)。非负矩阵分解算法。在NeurIPS公司2001高级神经信息。过程。系统。14 556-562. [82] LEE,J.D.、LIU,Q.、SUN,Y.和TAYLOR,J.E.(2017a)。通信效率高的稀疏回归。J.马赫。学习。物件。18第5、30号论文·Zbl 1434.62157号 [83] LEE,T.、WON,J.-H、LIM,J.和YOON,S.(2017b)。通过多个GPU上的并行融合套索实现大规模结构化稀疏性。J.计算。图表。统计师。26 851-864. ·doi:10.1080/10618600.2017.1328363 [84] Li,X.,Sun,D.和Toh,K.-C.(2018年)。一种求解套索问题的高效半光滑牛顿增广拉格朗日方法。SIAM J.Optim公司。28 433-458. ·Zbl 1392.65062号 ·doi:10.1137/16M1097572 [85] LIM,H.、DEWARAJA,Y.K.和FESSLER,J.A.(2018年)。增强投影空间非负性以减少Y-90成像中的偏差的PET重建公式。物理学。医学生物学。63 035042. [86] LIN,C.-J.(2007)。非负矩阵分解的投影梯度法。神经计算机。19 2756-2779. ·Zbl 1173.90583号 ·doi:10.1162/neco.2007.19.10.2756 [87] 刘旭、李毅、唐骏和闫明(2020)。有效分布式学习的双残差压缩算法。在AISTATS公司2020程序。机器。学习。物件。108 133-143. [88] MAHAJAN,A.、TALIUN,D.、THURNER,M.、ROBERTSON,N.R.、TORRES,J.M.、RAYNER,N.W.、PAYNE,A.J.、STEINTHORSDOTTIR,V.、SCOTT,R.A.等人(2018)。使用高密度插补和胰岛特异表观基因组图将2型糖尿病基因座精细定位到单变量分辨率。自然遗传学。50 1505-1513. [89] MCLAREN,W.、GIL,L.、HUNT,S.E.、RIAT,H.S.、RITCHIE,G.R.、THORMANN,A.、FLICEK,P.和CUNNINGHAM,F.(2016)。Ensembl变异效应预测因子。基因组生物学。17 122. [90] MITTAL,S.、MADIGAN,D.、BURD,R.S.和SUCHARD,M.A.(2014)。生存分析的高维、大样本Cox比例风险回归。生物统计学15 207-221. [91] MUNSHI,A.(2009年)。OpenCL规范。2009年IEEE HCS标准1-314. IEEE,纽约。 [92] NAKANO,J.(2012)。并行计算技术。在计算统计学概念和方法手册. 1, 2.Springer Handb公司。计算。斯达。243-271. 海德堡施普林格·doi:10.1007/978-3642-21551-39 [93] Negahban,S.N.、Ravikumar,P.、Wainwright,M.J.和Yu,B.(2012)。具有可分解正则化子的M估计量高维分析的统一框架。统计师。科学。27 538-557. ·Zbl 1331.62350号 ·doi:10.1214/12-STS400 [94] NERSC(2021)。分布式TensorFlow。https://docs.nersc.gov/machinelearning/tensorflow/#分布式-张量流。访问时间:2021-07-03。 [95] NG,M.C.、SHRINER,D.、CHEN,B.H.、LI,J.、CHEN、W.-M.、GUO,X.、LIU,J.,BIELINSKI,S.J.、YANEK,L.R.等人(2014)。非裔美国人全基因组关联研究的荟萃分析为2型糖尿病的遗传结构提供了见解。公共科学图书馆-遗传学。10 e1004517。 [96] NITANDA,A.(2014)。使用加速技术的随机近端梯度下降。在NeurIPS公司2014高级神经信息。过程。系统。27 1574-1582. [97] NVIDIA(2021a)。基本线性代数子程序(cuBLAS)库。http://docs.nvidia.com/cuda/cublas。访问时间:2021-07-03。 [98] NVIDIA(2021b)。稀疏矩阵库(cuSPARSE)。http://docs.nvidia.com/cuda/cusparse。访问时间:2021-07-03。 [99] O'HARA,R.B.和SILLANP Abada,M.J.(2009年)。贝叶斯变量选择方法综述:什么、如何以及是什么。贝叶斯分析。4 85-117. ·Zbl 1330.62291号 ·doi:10.1214/09-BA403 [100] OHN,I.和KIM,Y.(2019年)。具有一般激活函数的深度神经网络的平滑函数近似。熵21第627、21号论文·doi:10.3390/e21070627 [101] OWENS,J.D.、LUEBKE,D.、GOVINDARAJU,N.、HARRIS,M.、KRüGER,J.、LEFOHN,A.E.和PURCELL,T.J.(2007年)。图形硬件通用计算综述。在计算机图形论坛26 80-113. 纽约威利。 [102] Parikh,N.和Boyd,S.(2014年)。近似算法。已找到。趋势优化。1 127-239. [103] PASZKE,A.,GROSS,S.,MASSA,F.,LERER,A.,BRADBURY,J.,CHANAN,G.,KILLEEN,T.,LIN,Z.,GIMELSHEIN,N.等人(2019年)。PyTorch:一个命令式、高性能的深度学习库。在NeurIPS公司2019高级神经信息。过程。系统。32 8026-8037. [104] Polson,N.G.、Scott,J.G.和Willard,B.T.(2015)。统计和机器学习中的近似算法。统计师。科学。30 559-581. ·Zbl 1426.62213号 ·doi:10.1214/15-STS530 [105] QI,L.Q.和SUN,J.(1993)。牛顿方法的非光滑版本。数学。程序。58 353-367. ·Zbl 0780.90090号 ·doi:10.1007/BF01581275 [106] QIAN,X.,QU,Z.和RICHTáRIK,P.(2019年)。任意采样的SAGA。在ICML公司2019程序。机器。学习。物件。97 5190-5199. [107] RAINA,R.、MADHAVAN,A.和NG,A.Y.(2009年)。使用图形处理器进行大规模深度无监督学习。在ICML公司2009 873-880. 纽约ACM。 [108] RAMDAS,A.和TIBSHIRANI,R.J.(2016)。用于趋势过滤的快速灵活ADMM算法。J.计算。图表。统计师。25 839-858. ·doi:10.1080/10618600.2015.1054033 [109] HYPERION研究(2019)。HPC市场更新自2019年ISC,技术报告,Hyperion Research。 [110] REYES,A.R.(2021)。r工具。https://f0nzie.github.io/rTorch/。访问时间:2021-07-03。 [111] REYES-ORTIZ,J.L.、ONETO,L.和ANGUITA,D.(2015)。云中的大数据分析:Hadoop上的Spark与Beowulf上的MPI/OpenMP。在INNS大数据会议8 121. [112] RICHTáRIK,P.和TAKá采,M.(2016a)。随机坐标下降法中的最优概率。最佳方案。莱特。10 1233-1243. ·Zbl 1353.90148号 ·doi:10.1007/s11590-015-0916-1 [113] RICHTáRIK,P.和TAKá采,M.(2016b)。大数据优化的并行坐标下降法。数学。程序。156 433-484. ·Zbl 1342.90102号 ·doi:10.1007/s10107-015-0901-6 [114] Robbins,H.和Monro,S.(1951年)。一种随机近似方法。安。数学。斯达。22 400-407. ·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [115] CH.ROLAND、R.VARADHAN和C.E.FRANGAKIS(2007年)。带循环的平方多项式外推方法:在正电子发射断层扫描问题中的应用。数字。算法44 159-172. ·Zbl 1123.65043号 ·doi:10.1007/s11075-007-9094-2 [116] ROSASCO,L.,VILLA,S.和VŨ,B.C.(2020)。随机近似梯度算法的收敛性。申请。数学。最佳方案。82 891-917. ·Zbl 1465.90101号 ·doi:10.1007/s00245-019-09617-7 [117] RSTUDIO(2021)。”TensorFlow的R接口',https://tensorflow.rstudio.com/。2.5.0版。访问时间:2021-07-03。 [118] Rudin,L.I.、Osher,S.和Fatemi,E.(1992年)。基于非线性全变分的噪声去除算法。物理学。D类60 259-268. ·Zbl 0780.49028号 ·doi:10.1016/0167-2789(92)90242-F [119] RUMELHART,D.E.、HINTON,G.E.和WILLIAMS,R.J.(1986年)。通过反向传播错误学习表示。性质323 533-536. ·Zbl 1369.68284号 [120] RYU,E.K.,KO,S.和WON,J.-H.(2020年)。近循环线性系统的分裂:在全变分CT和PET中的应用。SIAM J.科学。计算。42 B185-B206·Zbl 1448.92113号 ·doi:10.1137/18M1224003 [121] Schmidt-Hieber,J.(2020年)。使用ReLU激活函数的深度神经网络进行非参数回归。安。统计师。48 1875-1897. ·Zbl 1459.62059号 ·doi:10.1214/19-AOS1875 [122] SCOTT,L.J.、MOHLKE,K.L.、BONNYCASTLE,L.L.、WILLER,C.J.、LI,Y.、DUREN,W.L.,ERDOS,M.R.、STRINGHAM,H.M.、CHINES,P.S.等人(2007年)。芬兰人2型糖尿病的全基因组关联研究检测出多种易感性变体。科学类316 1341-1345. [123] SEIDE,F.和AGARWAL,A.(2016年)。CNTK:微软的开源深度学习工具包。在SIGKDD公司2016 2135-2135. ACM,纽约。 [124] SERGEEV,A.和DEL BALSO,M.(2018年)。Horovod:张量流中快速且容易的分布式深度学习。预印。arXiv:1802.05799提供。 [125] 服务,A.W.(2021)。AWS平行集群。https://aws.amazon.com/ko/hpc/parallelcluster/。版本2.11.0。访问时间:2021-07-03。 [126] STAPLES,G.(2006)。扭矩资源管理器。在联合国安全理事会2006 8. 纽约ACM。 [127] SUCHARD,M.A.、WANG,Q.、CHAN,C.、FRELINGER,J.、CRON,A.和WEST,M.(2010)。了解用于统计计算的GPU编程:大规模并行大规模混合的研究。J.计算。图表。统计师。19 419-438. ·doi:10.1198/jcgs.2010.10016 [128] SUCHARD,M.A.、SIMPSON,S.E.、ZORYCH,I.、RYAN,P.和MADIGAN,D.(2013)。复杂广义线性模型串行推理算法的大规模并行化。ACM事务处理。模型。计算。模拟。23第10、17条·Zbl 1386.65065号 ·doi:10.1145/2414416.2414791 [129] SUDLOW,C.,GALLACHER,J.,ALLEN,N.,BERAL,V.,BURTON,P.,DANESH,J.、DOWNEY,P.、ELLIOTT,P.和GREEN,J.等人(2015年)。英国生物银行:一种开放获取的资源,用于确定多种中老年复杂疾病的病因。公共科学图书馆-医学。12 e1001779。 [130] 铃木,T.(2019)。深度ReLU网络在Besov和混合光滑Besov空间中学习的适应性:最优速率和维数诅咒。在ICLR公司2019 [131] 唐浩、余川、连小新、张涛和刘杰(2019)\[\mathtt{DoubleSqueeze}\]:并行随机梯度下降与双通误差补偿压缩。在ICML公司2019程序。机器。学习。物件。97 6155-6165. [132] THEANO开发团队(2016)。Theano:用于快速计算数学表达式的Python框架。预印本。可从arXiv:1605.02688获取。 [133] 茱莉亚平行队(2021年)。DistributedArrays.jl:Julia中的分布式数组。https://github.com/JuliaParallel/DistributedArrays.jl。访问时间:2021-07-03。 [134] R核心团队(2021)\(R):统计计算语言与环境.R统计计算基金会,奥地利维也纳。 [135] Tibshirani,R.(1996年)。通过套索进行回归收缩和选择。J.罗伊。统计师。Soc.系列。B类58 267-288. ·Zbl 0850.62538号 [136] Tibshirani,R.J.和Taylor,J.(2011)。广义套索的解路径。安。统计师。39 1335-1371. ·Zbl 1234.62107号 ·doi:10.1214/11-AOS878 [137] TIELEMAN,T.(2010)。Gnumpy:多伦多大学计算机科学系Python技术报告UTML TR 2010-002中GPU板的简单使用方法。 [138] TSENG,P.和YUN,S.(2009年)。非光滑可分离极小化问题的坐标梯度下降法。数学。程序。117 387-423. ·兹比尔1166.90016 ·doi:10.1007/s10107-007-0170-0 [139] 苏黎世大学(2021)。ElastiCluster公司。https://elasticluster.readthedocs.io/en/latest/。访问时间:2021-07-03。 [140] USHEY,K.、ALLAIRE,J.和TANG,Y.(2021)。网状:“Python”的接口。https://cran.r-project.org/package=reticulate。版本1.20。访问时间:2021-07-03。 [141] VAN ROSSUM,G.(1995年)。Python教程技术报告CS-R9526,Centrum voor Wiskunde en Informatica(CWI),阿姆斯特丹。 [142] VAN DE GEIJN,R.A.和WATTS,J.(1997)。可扩展通用矩阵乘法算法。并发:实践与经验9 255-274. [143] VOIGHT,B.F.,SCOTT,L.J.,STEINTHORSDOTTIR,V.,MORRIS,A.P.,DINA,C.,WELCH,R.P.,ZEGGINI,E.,HUTH,C.,AULCHENKO,Y.S.等人(2010年)。通过大规模关联分析确定了12个2型糖尿病易感位点。自然遗传学。42 579. [144] VŨ,B.C.(2013)。对偶单调包含的一种分裂算法,该算法涉及共操作算子。高级计算。数学。38 667-681. ·Zbl 1284.47045号 ·doi:10.1007/s10444-011-9254-8 [145] 沃克,E.(2008)。针对高性能科学计算对Amazon EC2进行基准测试。登录::USENIX和SAGE杂志33 18-23. [146] 王,E.,张,Q.,沈,B.,张,G.,LU,X.,WU,Q.和王,Y.(2014)。英特尔数学内核库。在Intel上的高性能计算®至强融核™ 167-188. 柏林施普林格。 [147] WANG,J.、KOLAR,M.、SREBRO,N.和ZHANG,T.(2017)。高效的稀疏分布式学习。在ICML公司2017程序。机器。学习。物件。70 3636-3645. [148] WON,J.-H.(2020)。矩阵透视函数的邻近算子及其应用。在NeurIPS公司2020高级神经信息。过程。系统。33 [149] WRIGHT,S.J.(2015)。坐标下降算法。数学。程序。151 3-34. ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3 [150] WU,T.T.和LANGE,K.(2010年)。MM替代EM。统计师。科学。25 492-505. ·Zbl 1329.62106号 ·doi:10.1214/08-STS264 [151] 肖磊(XIAO,L.)和张涛(ZHANG,T.)(2014)。具有逐步方差减少的近似随机梯度法。SIAM J.Optim公司。24 2057-2075. ·Zbl 1321.65016号 ·数字对象标识代码:10.1137/140961791 [152] XUE,L.,MA,S.和ZOU,H.(2012)。大协方差矩阵的正定\[{\ell_1}\]-惩罚估计。J.Amer。统计师。协会。107 1480-1491. ·兹比尔1258.62063 ·doi:10.1080/01621459.2012.725386 [153] YOO,A.B.、JETTE,M.A.和GRONDONA,M.(2003)。Slurm:用于资源管理的简单Linux实用程序。在JSSPP公司2003 44-60. 柏林施普林格。 [154] YU,D.,WON,J.-H.,LEE,T.,LIM,J.和YOON,S.(2015)。使用优化-最小化和并行处理的高维融合拉索回归。J.计算。图表。统计师。24 121-153. ·doi:10.1080/10618600.2013.878662 [155] ZAHARIA,M.、CHOWDHURY,M.,FRANKLIN,M.J.、SHENKER,S.、STOICA,I.等人(2010年)。Spark:使用工作集的集群计算。热云10 95. [156] Zhang,Y.,Duchi,J.C.和Wainwright,M.J.(2013)。统计优化的通信高效算法。J.马赫。学习。物件。14 3321-3363. ·Zbl 1318.62016号 [157] ZHANG,X.,WANG,Q.和CHOTHIA,Z.(2021)。OpenBLAS:一个优化的BLAS库。https://www.openblas.net/。访问时间:2021-07-03。 [158] ZHOU,H.、LANGE,K.和SUCHARD,M.A.(2010)。图形处理单元和高维优化。统计师。科学。25 311-324. ·Zbl 1329.62028号 ·doi:10.1214/10-STS336 [159] 朱毅(2017)。一种增广的ADMM算法及其在广义拉索问题中的应用。J.计算。图表。统计师。26 195-204. ·doi:10.1080/10618600.2015.1114491 [160] ZHU,M.和CHAN,T.(2008)。一种有效的全变分图像恢复原-对偶混合梯度算法加州大学洛杉矶分校CAM技术报告08-34 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。