周云凯；王，郑；周爱辉 通过滤波块Davidson方法加速大部分EVD/SVD计算。 （英语） Zbl 1353.65029号 科学。中国，数学。 59，第8期，1635-1662（2016）. 摘要：大型稀疏矩阵的部分特征值分解（PEVD）和部分奇异值分解（PSVD）在广泛的应用中具有重要意义，包括潜在语义索引、谱聚类和机器学习的核心方法。更具挑战性的问题是需要计算大量的特征对或奇异三元组。我们为这些具有挑战性的问题开发了实用高效的算法。我们的算法基于滤波加速块Davidson方法。使用了两种类型的滤波器，一种是切比雪夫多项式滤波，另一种是通过求解线性方程组的有理函数滤波。前者利用了同次多项式中切比雪夫多项式增长最快的特性；后者采用了传统的移位转换思想，我们解决了移位的自动选择这一重要问题，并提出了一种在块Davidson方法中求解移位线性方程组的实用方法。我们的两个滤波器可以有效地生成高质量的基向量，以在每个Davidson迭代步骤中增加投影子空间，从而允许使用小维的活动投影子空间重新启动方案。这使得我们的算法具有内存经济性，因此适用于大型PEVD/PSVD计算。我们将我们的算法与代表性方法进行了比较，包括ARPACK、PROPACK，随机SVD方法和有限内存SVD方法。对代表性数据集的大量数值测试表明，一般来说，我们的方法在CPU时间方面具有类似或更快的收敛速度，而与其他方法相比，所需的内存要少得多。更低的内存需求使得我们的方法对于大规模PEVD/PSVD计算更为实用。 引用于1文件 MSC公司： 2015财年65 矩阵特征值和特征向量的数值计算 65层20 超定系统伪逆的数值解 65层50 稀疏矩阵的计算方法 关键词：多项式滤波器；有理滤波器；内核；图表；部分特征值分解；部分奇异值分解；算法；块戴维森法；切比雪夫多项式；数值试验 软件：JDCG公司；MNIST公司；洛佩克。米；softImpute软件；CheFSI公司；PROPACK公司；环境影响评价；SNAP（快照）；SLEPc公司；ARPACK公司；PRIMME_SVDS公司；伦敦银行支持向量机；JDQZ公司；爱尔兰共和国；JDQR公司；普里姆；UCI-毫升 PDF格式BibTeX公司 XML格式引用 \textit｛Y.Zhou｝等人，《科学》。中国，数学。59，第8号，1635--1662（2016；Zbl 1353.65029） 全文： 内政部 参考文献： [1] Bache K，Lichman M.UCI机器学习库。网址：http://archive.ics.uci.edu/ml, 2013 [2] Baer R，Head-Gordon M.Chebyshev大分子体系电子结构计算的展开方法。化学物理杂志，1997，107:10003-10013·doi:10.1063/1.474158 [3] Baglama J，Calvetti D，Reichel L.IRBL：求解大规模Hermitian本征问题的隐式重启块Lanczos方法。SIAM科学计算杂志，2003，24:1650-1677·兹比尔1044.65027 ·doi:10.1137/S1064827501397949 [4] Bai Z，Demmel J，Dongarra J，et al.代数特征值问题求解模板：实用指南。费城：SIAM，2000·兹伯利0965.65058 ·数字对象标识代码：10.1137/1.9780898719581 [5] Belabbas M-A，Wolfe P J.机器学习中的谱方法和超大数据集的新策略。美国国家科学院院刊，2009，106:369-374·doi:10.1073/pnas.0810600105 [6] Berns-Müller J，Graham I G，Spence A.对称矩阵的不精确逆迭代。线性代数应用，2006，416:389-413·Zbl 1101.65037号 ·doi:10.1016/j.laa.2005.11.019 [7] 蔡，D。；何，X。；Han，J.，《光谱回归：基于内容的图像检索的统一子空间学习框架》，403-412（2007），纽约·数字对象标识代码：10.1145/1291233.1291329 [8] 蔡建峰，坎迪斯·埃杰，沈忠。矩阵补全的奇异值阈值算法。SIAM J Optim，2010，20:1956-1982·Zbl 1201.90155号 ·doi:10.1137/080738970 [9] Calvetti D，Reichel L，Sorensen D C。大型对称特征值问题的隐式重启动Lanczos方法。电子传输数字分析，1994，1:237-263·Zbl 0809.65030号 [10] 切比雪夫·P·L·苏尔莱斯职能部门为可变价值的确定提供了保证。欧弗瑞斯，1881，2:335-356 [11] Chen J，Saad Y.Lanczos向量与有效降维的奇异向量。IEEE Trans Knowl Data Eng，2009年，21:1091-1103·doi:10.1109/TKDE.2008.228 [12] Davidson E R.大型实对称矩阵的几个最低特征值和相应特征向量的迭代计算。《计算物理杂志》，1975年，17:87-94·Zbl 0293.65022号 ·doi:10.1016/0021-9991（75）90065-0 [13] Deerwester S，Dumais S T，Furnas G W，等。基于潜在语义分析的索引。J Amer Soc信息科学，1990，41:391-407·doi:10.1002/（SICI）1097-4571（199009）41:6<391:：AID-ASI1>3.0.CO；2-9 [14] Fan R-E，Lin C-J.Libsvm数据：分类、回归和多标签。网址：http://www.csie.ntu.edu.tw/cjlin/libs-vmtools/datasets/·兹比尔1198.65035 [15] Fokkema D R，Sleijpen G L G，van der Vorst H A.Jacobi-Davidson风格的QR和QZ矩阵铅笔简化算法。SIAM科学计算杂志，1998，20:94-125·Zbl 0924.65027号 ·doi:10.1137/S1064827596300073 [16] Freitag M A.特征值问题的内外迭代方法——收敛和预处理。博士论文。巴斯：巴斯大学，2007年 [17] Gleich D F，Gray A P，Greif C等。计算PageRank的内外迭代。SIAM科学计算杂志，2010，32:349-371·Zbl 1209.65043号 ·数字对象标识代码：10.1137/080727397 [18] Golub G H，Kahan W.计算矩阵的奇异值和伪逆.SIAM J Numer Ana，1965，2:205-224·Zbl 0194.18201号 [19] Golub G H，Van Loan C F.矩阵计算。巴尔的摩：约翰霍普金斯大学出版社，1996年·Zbl 0865.65009号 [20] Golub G H，Ye Q.具有内外迭代的不精确预条件共轭梯度方法。SIAM科学计算杂志，1999，21:1305-1320·Zbl 0955.65022号 ·doi:10.1137/S1064827597323415 [21] Halko N，Martinsson P-G，Tropp J A.寻找随机结构：构造近似矩阵分解的随机算法。SIAM版本，2009年，53:217-288·Zbl 1269.65043号 ·数字对象标识代码：10.1137/090771806 [22] Knyazev A V.关于最优预处理特征解算器：局部最优块预处理共轭梯度法。SIAM科学计算杂志，2001，23:517-541·Zbl 0992.65028号 ·doi:10.1137/S1064827500366124 [23] Ko，Y.，《使用类别信息进行文本分类的术语权重方案研究》，1029-1030（2012），纽约·数字对象标识代码：10.1145/2348283.2348453 [24] Kohanoff J.固体和分子的电子结构计算：理论和计算方法。剑桥：剑桥大学出版社，2006·Zbl 1113.81006号 ·doi:10.1017/CBO9780511755613 [25] 库内吉斯，J。；Lommatzsch，A.，《链路预测的学习谱图变换》，561-568（2009），纽约 [26] Lanczos C.求解线性微分和积分算子特征值问题的迭代方法。J Res Nat Bur标准，1950，45:255-282·doi:10.6028/jres.045.026 [27] Larsen R M.Lanczos双对角化与部分重方化。技术报告DAIMI PB-357。奥胡斯：奥胡斯大学，1998年 [28] LeCun Y，Cortes C，Burges C J C。手写数字的mnist数据库。http://yann.lecun.com/exdb/mnist/ [29] Lehoucq R B，Meerbergen K。在不精确有理Krylov序列方法中使用广义Cayley变换。SIAM J矩阵分析应用，1998，20:131-148·Zbl 0931.65035号 ·doi:10.1137/S0895479896311220 [30] Lehoucq R B，Sorensen D C，Yang C.ARPACK用户指南：用隐式重启Arnoldi方法解决大规模特征值问题。Phildelphia:SIAM，1998年·Zbl 0901.65021号 ·doi:10.1137/1.9780898719628 [31] Leskovec J，Krevl A.SNAP数据集：斯坦福大学大型网络数据集。http://snap.stanford.edu/data, 2014 [32] Li J，White J.Lyapunov方程的低阶解。SIAM J矩阵分析应用，2002，24:260-280·Zbl 1016.65024号 ·网址：10.1137/S0895479801384937 [33] 梁Q，叶青。用无逆预处理krylov子空间方法计算大矩阵的奇异值。电子传输数字分析，2014，42:197-221·Zbl 1312.65061号 [34] Liu X，Wen Z，Zhang Y.计算显性奇异值分解的有限存储块Krylov子空间优化。SIAM科学计算杂志，2013，35:A1641-A1668·Zbl 1278.65045号 ·数字对象标识代码：10.1137/120871328 [35] Ma S，Goldfarb D，Chen L.矩阵秩最小化的不动点和Bregman迭代方法。数学课程，2011128:321-353·Zbl 1221.65146号 ·doi:10.1007/s10107-009-0306-5 [36] Martin R M.电子结构：基本理论和实践方法。剑桥：剑桥大学出版社，2004·Zbl 1152.74303号 ·doi:10.1017/CBO9780511805769 [37] Mazumder R，Hastie T，Tibshirani R.学习大型不完备矩阵的谱正则化算法。J Mach学习研究，2010，11:2287-2322·Zbl 1242.68237号 [38] Morgan R B，Scott D S。计算稀疏对称矩阵特征值的Davidson方法的推广。SIAM科学统计计算杂志，1986年，7:817-825·Zbl 0602.65020号 ·doi:10.1137/0907054 [39] Ng A Y，Jordan M I，Weiss Y。关于谱聚类：分析和算法。Adv Neural Inf过程系统，2002，14:849-856·Zbl 1008.39002号 [40] Notay Y.部分对称特征值问题的Jacobi-Davidson和共轭梯度的组合。数字线性代数应用，2002，9:21-44·兹比尔1071.65516 ·doi:10.1002/nla.246 [41] Ovtchinnikov E E.Jacobi校正方程、线搜索和厄米特特征值计算中的共轭梯度II：计算几个极端特征值。SIAM J数字分析，2008，46:2593-2619·Zbl 1176.65044号 ·doi:10.1137/070688754 [42] Parlett B N.对称特征值问题。费城：SIAM，1998·Zbl 0885.65039号 ·doi:10.1137/1.9781611971163 [43] Penzl T.大型稀疏Lyapunov方程的循环低阶Smith方法。SIAM科学计算杂志，2000，21:1401-1418·Zbl 0958.65052号 ·doi:10.1137/S1064827598347666 [44] Peters G、Wilkinson J H.逆迭代、病态方程和牛顿法。SIAM版本，1979年，21:339-360·Zbl 0424.65021号 ·doi:10.1137/1021052 [45] Pratek J，Meka R，Dhillon I S.通过奇异值投影保证秩最小化。高级神经信息处理系统，2010，23:937-945 [46] Rennie J.20新闻组。http://qwone.com/jason/20新闻组/，2008 [47] 里夫林·T·J·切比雪夫多项式。纽约：约翰·威利父子公司，1974年·Zbl 0299.41015号 [48] Rokhlin V，Szlam A，Tygert M.主成分分析的随机算法。SIAM J矩阵分析应用，2009，31:1100-1124·Zbl 1198.65035号 ·doi:10.1137/080736417 [49] Roman J E、Campos C、Romero E等。SLEPc用户手册。技术报告DSIC-II/24/02第3.6版。巴伦西亚：巴伦西亚政治大学，2015年 [50] Ruhe，A。；Skoogh，D.，用于特征值计算和模型简化的Rational Krylov算法，49150-2（1998），纽约 [51] Ruhe A，Wiberg T。逆迭代中使用的共轭梯度法。BIT，1972年，12:543-554·Zbl 0266.65033号 ·doi:10.1007/BF01932964 [52] Saad Y.一种灵活的内外预处理GMRES算法。SIAM科学计算杂志，1993，14:461-469·Zbl 0780.65022号 ·doi:10.1137/0914028 [53] 稀疏线性系统的Saad Y.迭代方法。费城：SIAM，2003·Zbl 1031.65046号 ·doi:10.137/1.9780898718003 [54] Saad Y.大型特征值问题的数值方法。费城：SIAM，2011·Zbl 1242.65068号 ·doi:10.137/1.9781611970739 [55] Salton G，Buckley C.自动文本检索中的术语加权方法。《通知流程管理》，1988年，24:513-523·doi:10.1016/0306-4573（88）90021-0 [56] Sankey O F，Drabold D A，Gibson A.电子结构问题中的投影随机向量和递归方法。《物理学评论B》，1994年，50:1376-1381·doi:10.1103/PhysRevB.50.1376 [57] Simon H D。具有部分重正交化的Lanczos算法。数学计算，1984，42:115-142·Zbl 0546.65017号 ·doi:10.1090/S0025-5718-1984-0725988-X [58] Simoncini V，Eldén L.特征值计算的非精确瑞利商型方法。BIT，2002，42:159-182·Zbl 1003.65033号 ·doi:10.1023/A：1021930421106 [59] Sleijpen G L G，van der Vorst H A.线性特征值问题的Jacobi-Davidson迭代法。SIAM J矩阵分析应用，1996，17:401-425·Zbl 0860.65023号 ·doi:10.1137/S0895479894270427 [60] Sorensen D C.多项式滤波器在k步Arnoldi方法中的隐式应用。SIAM J矩阵分析应用，1992，13:357-385·Zbl 0763.65025号 ·doi:10.1137/0613025 [61] Sorensen D C.隐式重启Arnoldi/Lanczos方法，用于大规模特征值计算。技术报告TR-96-40。休斯顿：莱斯大学，1996年·Zbl 0865.65019号 [62] Stathopoulos A，McCombs J R.有限记忆下厄米特特征值问题的近似最优预处理方法，第二部分：寻找多个特征值。SIAM科学计算杂志，2007，29:2162-2188·Zbl 1151.65320号 ·doi:10.1137/060661910 [63] Stathopoulos A，McCombs J R.PRIMME:PReconditioned Iterative MultiMethod Eigensolver：方法和软件描述。ACM Trans数学软件，2010，37:21-30·Zbl 1364.65087号 ·数字对象标识代码：10.1145/1731022.1731031 [64] Toh K C，Yun S.核范数正则化线性最小二乘问题的一种加速近端梯度算法。Pac J Optim，2010年，6:615-640·Zbl 1205.90218号 [65] von Luxburg U.光谱聚类教程.统计计算，2007，17:395-416·数字对象标识代码：10.1007/s11222-007-9033-z [66] Wu K，Simon H D.对称广义特征值问题的并行Lanczos方法。报告41284。劳伦斯：劳伦斯伯克利国家实验室，1997年·兹伯利0943.65049 ·doi:10.2172/10163130 [67] Wu L，Stathopoulos A.PRIMME SVDS：一种预处理SVD解算器，用于基于PRIMME特征解算器精确计算大矩阵的奇异三元组。ArXiv:1408.55352014年 [68] Xue F，Elman H C.谱变换广义特征值问题的快速非精确子空间迭代。线性代数应用，2011，435:601-622·Zbl 1253.65059号 ·doi:10.1016/j.laa.2010.06.021 [69] 周瑜。关于雅可比-戴维森、瑞利商迭代、逆迭代、广义戴维森和牛顿更新的研究。数字线性代数应用，2006，13:621-642·Zbl 1174.65372号 ·doi:10.1002/nla.490 [70] Zhou Y.求解大特征值问题的带内-外重启的块Chebyshev-Davidson方法。计算机物理杂志，2010，229:9188-9200·Zbl 1203.65077号 ·doi:10.1016/j.jcp.2010.08.032 [71] Zhou Y.计算HITS ExpertRank向量的实际加速。计算机应用数学杂志，2012，236:4398-4409·Zbl 1287.65027号 ·doi:10.1016/j.cam.2012.04.006 [72] Zhou Y，Chelikowsky J R，Saad Y.求解Kohn-Sham方程的无稀疏对角化的Chebyshev滤波子空间迭代法。计算机物理杂志，2014，274:770-782·Zbl 1351.82098号 ·doi:10.1016/j.jcp.2014.06.056 [73] 周毅，李瑞秋。大厄米矩阵谱的边界。线性代数应用，2011，435:480-493·Zbl 1221.15022号 ·doi:10.1016/j.laa.2010.06.034 [74] Zhou Y，Saad Y.大型对称特征值问题的Chebyshev-Davidson算法。SIAM J矩阵分析应用，2007年，29:954-971·Zbl 1151.65321号 ·数字对象标识代码：10.1137/050630404 [75] 朱，X。；坎多拉，J。；Lafferty，J。；等。；Chapelle，O.（编辑）；Scholkopf，B.（编辑）；Zien，A.（编辑），《谱变换的图形核》，277-291（2006），剑桥 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。