×
Lee，Seunghwan先生;金圣哲（Kim，Sang Cheol）;Yu，Donghyeon先生

一种高效的GPU并行坐标下降算法，用于基于缩放拉索的稀疏精度矩阵估计。 （英语） Zbl 07696207号

计算。斯达。 38，编号1，217-242（2023）。
摘要：稀疏精度矩阵在高斯图形模型中起着至关重要的作用，因为零非对角元素表示给定其他变量的相应两个变量的条件独立性。在高斯图形模型中，提出了许多方法，并给出了它们的理论性质。其中，基于尺度拉索的稀疏精度矩阵估计（SPMESL）具有一个吸引人的特点，即在稀疏性和可逆性条件下，自动设置惩罚水平以获得最佳收敛速度。相反，在搜索最佳调谐参数时需要使用其他方法。尽管SPMESL具有这样的优势，但由于其昂贵的计算成本，尚未得到广泛应用。在本文中，我们为SPMESL开发了一种GPU并行坐标下降（CD）算法，并通过数值计算表明，该算法比为SPMELL定制的最小角度回归（LARS）要快得多。为了研究该算法的可扩展性和SPMESL的估计性能，进行了一些全面的数值研究。结果表明，SPMESL在所有情况下的错误发现率最低，在列稀疏程度较高的情况下性能最佳。

MSC公司：

62-08 统计问题的计算方法

关键词：

高斯图形模型;图形处理单元;并行计算;无调谐

软件：

PyOpenCL公司;玻璃制品;PyCUDA公司;FASTCLIME公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Lee}等人，计算。Stat.38，No.1，217--242（2023；Zbl 07696207）
全文： 内政部 arXiv公司

参考文献：

[1] Ali A，Khare K，Oh S-Y，Rajaratnam B（2017）逆协方差估计的广义伪似然方法。摘自：第20届国际人工智能与统计会议记录第54卷，第280-288页
[2] Barabási，A。；Albert，R.，随机网络中缩放的出现，科学，286509-512（1999）·Zbl 1226.05223号 ·doi:10.1126/science.286.5439.509
[3] Bradely Efron，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，《最小角度回归》，《Ann Stat》，第32期，第407-499页（2004年）·Zbl 1091.62054号 ·doi:10.1214/09053604000000067
[4] PJ Bickel；Levina，E.，大型协方差矩阵的正则化估计，《Ann Stat》，36，199-227（2008）·Zbl 1132.62040号 ·doi:10.1214/009053607000000758
[5] PJ Bickel；Levina，E.，通过阈值进行协方差正则化，Ann Stat，36，2577-2604（2008）·Zbl 1196.62062号 ·doi:10.1214/08-AOS600
[6] 蔡，TT；张，CH；Zhou，HH，协方差矩阵估计的最佳收敛速度，Ann Stat，38，2118-2144（2010）·Zbl 1202.62073号 ·doi:10.1214/09-AOS752
[7] 蔡，T。；Liu，W.，稀疏协方差矩阵估计的自适应阈值，美国统计协会杂志，106，672-684（2011）·Zbl 1232.62086号 ·doi:10.1198/jasa.2011.tm10560
[8] 蔡，TT；刘伟。；Luo，X.，稀疏精度矩阵估计的约束（ell_1）最小化方法，美国统计协会杂志，106，594-607（2011）·Zbl 1232.62087号 ·doi:10.1198/jasa.2011.tm10155
[9] 蔡，TT；周，HH，范数下大协方差矩阵的Minimax估计，Stat Sin，221319-1349（2012）·Zbl 1266.62036号 ·doi:10.5705/ss.2010.253
[10] 蔡，TT；刘伟。；Zhou，HH，估计稀疏精度矩阵：最优收敛速度和自适应估计，Ann Stat，44455-488（2016）·Zbl 1341.62115号 ·doi:10.1214/13-AOS1171
[11] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，《利用图形Lasso进行稀疏逆协方差估计》，生物统计学，9，432-441（2008）·Zbl 1143.62076号 ·doi:10.1093/biostatistics/kxm045
[12] Khare，K。；哦，S-Y；Rajaratnam，B.，具有收敛保证的高维偏相关估计的凸伪似然框架，J R Stat Soc系列B，77，803-825（2015）·兹伯利1414.62183 ·doi:10.1111/rssb.12088
[13] 科克纳，A。；平托，N。；Lee，Y。；Catanzaro，B。；伊万诺夫，P。；Fasih，A.，PyCUDA和PyOpenCL:基于脚本的GPU运行时代码生成方法，并行计算，38，157-174（2012）·doi:10.1016/j.parco.2011.09.001
[14] 马祖姆德，R。；Hastie，T.，《图形套索：新见解和替代方案》，《Electr J Stat》，第6期，第2125-2149页（2012年）·Zbl 1295.62066号 ·doi:10.1214/12-EJS740
[15] 明绍森，N。；Bühlmann，P.，Lasso的高维图和变量选择，Ann Stat，341436-1462（2006）·Zbl 1113.62082号 ·doi:10.1214/0090536000000281
[16] 庞，H。；刘，H。；Vanderbei，R.，R中线性规划和大规模精度矩阵估计的FASTCLIME包，J Mach Learn Res，15，489-493（2014）·Zbl 1318.90002号
[17] 彭杰。；王，P。；周，N。；Zhu，J.，联合稀疏回归模型的偏相关估计，美国统计协会，104735-746（2009）·Zbl 1388.62046号 ·doi:10.1198/jasa.2009.0126
[18] 任，Z。；Sun，T。；张，C-H；周，HH，大高斯图形模型估计中的渐近正态性和最优性，Ann Stat，43，991-1026（2015）·Zbl 1328.62342号 ·doi:10.1214/14-AOS1286
[19] AJ罗斯曼；Levina，E。；Zhu，J.，大协方差矩阵的广义阈值，美国统计协会，104177-186（2009）·Zbl 1388.62170号 ·doi:10.1198/jasa.2009.0101
[20] Schäfer，J。；Strimmer，K.，《大规模协方差矩阵估计的收缩方法及其对功能基因组学的影响》，《Stat Appl Genet Mol Biol》，4，32（2005）·doi:10.2202/1544-6115.1175
[21] Sun，T。；Zhang，CH，标度稀疏线性回归，Biometrika，99879-898（2012）·Zbl 1452.62515号 ·doi:10.1093/biomet/ass043
[22] Sun，T。；Zhang，CH，用标度套索进行稀疏矩阵反演，J Mach Learn Res，14，3385-3418（2013）·Zbl 1318.62184号
[23] Tibshirani，R.，通过Lasso回归收缩和选择，J Roy Stat Soc B，58，267-288（1996）·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x
[24] Tseng，P.，不可微极小化的块坐标下降法的收敛性，最优化理论应用杂志，109，475-494（2001）·兹比尔1006.65062 ·doi:10.1023/A:1017501703105
[25] van de Geer，S。；Bühlmann，P.，《关于证明Lasso预言结果的条件》，Elector J Stat，31360-1392（2009）·Zbl 1327.62425号 ·doi:10.1214/09-EJS506
[26] 维滕，D。；弗里德曼，J。；Simon，N.，《图形套索的新见解和更快的计算》，《计算图形统计杂志》，第20892-900页（2011年）·文件编号：10.1198/jcgs.2011.11051a
[27] 吴，TT；Lange，K.，套索惩罚回归的坐标下降算法，Ann Appl Stat，224-244（2008）·Zbl 1137.62045号 ·doi:10.1214/07-AOAS147
[28] 世界银行吴；Pourahmadi，M.，平稳过程的带状样本自方差矩阵，Stat Sin，191755-1768（2009）·Zbl 1176.62083号
[29] 姚，J。；郑S。；Bai，Z.，大样本协方差矩阵和高维数据分析（2015），纽约：剑桥大学出版社，纽约·Zbl 1380.62011年 ·doi:10.1017/CBO9781107588080
[30] 袁，M。；Lin，Y.，高斯图形模型中的模型选择和估计，生物统计学，94，19-35（2007）·兹比尔1142.62408 ·doi:10.1093/biomet/asm018
[31] 袁，M.，线性规划稀疏逆协方差矩阵估计，J Mach Learn Res，112261-2286（2010）·Zbl 1242.62043号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。