顾，M。 子空间迭代随机化和奇异值问题。 （英语） Zbl 1328.65088号 SIAM J.科学。计算。 37，第3号，A1139-A1173（2015）. 摘要：矩阵计算中的一个经典问题是用低秩矩阵高效可靠地逼近给定矩阵。已知截断奇异值分解（SVD）可以为任何给定的固定秩提供最佳近似。然而，SVD的计算成本也很高。在文献中计算低阶近似的不同方法中，随机算法由于其在不同应用领域惊人的可靠性和计算效率，最近吸引了研究人员的关注。典型地，这些算法被证明是用非常高概率的低秩近似计算的，这些近似值在最优的常数因子内，并且已知在许多实际情况下表现得更好。本文提出了一种新的误差分析方法，该方法考虑了子空间迭代框架中的随机算法，并以很高的概率表明，对于奇异值快速衰减的矩阵，可以快速计算出高精度的低秩近似和奇异值。此类矩阵经常出现在各种应用领域，例如数据分析、快速结构矩阵计算和大型稀疏线性方程组的快速直接方法，是随机方法的驱动力。此外，我们还证明了这些随机算法计算的低阶近似实际上是秩揭示近似，并且秩-1近似的特殊情况也可以用于以非常高的概率正确估计矩阵2-范数。我们的数值实验完全支持我们的结论。 引用于52文件 MSC公司： 2015财年65 矩阵特征值和特征向量的数值计算 65楼30 其他矩阵算法（MSC2010） 关键词：低阶近似;随机算法;奇异值;标准高斯矩阵 软件：JDQZ公司;Matlab公司;AS 183标准;身份证件;JDQR公司;稀疏矩阵;拉帕克;mctoolbox软件;TRLan公司;UTV公司;阿尔帕克 PDF格式BibTeX公司 XML格式引用 \文本｛M.Gu｝，SIAM J.Sci。计算。37，第3号，A1139--A1173（2015；Zbl 1328.65088） 全文： DOI程序 arXiv公司 参考文献： [1] E.Anderson、Z.Bai、C.Bischof、J.Demmel、J.Dongarra、J.Du Croz、A.Greenbaum、S.Hammarling、A.McKenney、S.Ostrochov和D.Sorensen，《拉帕克用户指南》，第二版，SIAM，费城，1995年·Zbl 0843.65018号 [2] 剑桥AT&T实验室，{\it人脸数据库}，http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html (2002). [3] O.Axelsson和L.Yu。Kolotilina，{预处理共轭梯度法}，Springer-Verlag，柏林，1990·Zbl 0705.00024号 [4] Z.Bai、J.Demmel、J.Dongarra、A.Ruhe和H.van der Vorst，《代数特征值问题求解的模板：实用指南》，SIAM，费城，2000年·Zbl 0965.65058号 [5] K.-J.Bathe和E.L.Wilson，《有限元分析中的数值方法》，普伦蒂斯·霍尔，恩格尔伍德克利夫斯，新泽西州，1976年·Zbl 0387.65069号 [6] M.W.Berry、S.T.Dumais和G.W.O'Brien，《使用线性代数进行智能信息检索》，SIAM Rev.，37（1995），第573-595页·Zbl 0842.68026号 [7] V.Bogdanov，{高斯度量}，美国数学学会，普罗维登斯，RI，1998年·Zbl 0905.00004号 [8] C.Boutsidis、M.W.Mahoney和P.Drineas，{列子集选择问题的改进近似算法}，预印本，http://arxiv.org/abs/0822.4293arXiv:0822.4293v2[cs.DS]，2008年·Zbl 1420.68235号 [9] R.Brunelli和T.Poggio，《人脸识别：特征与模板》，IEEE Trans。模式分析。机器。智力。，15（1993），第1042-1052页。 [10] D.Cai，｛\it Matlab格式的文本数据集｝，http://www.cad.zju.edu.cn/home/dengcai/Data/TextData.html (2009). [11] D.Calvetti，L.Reichel和D.C.Sorensen，{一种隐式重启的Lanczos方法，用于大型对称特征值问题}，Electron。事务处理。数字。分析。，2（1994年），第1-21页·Zbl 0809.65030号 [12] T.F.Chan，{揭示QR分解的秩}，线性代数应用。，88/89（1987），第67-82页·Zbl 0624.65025号 [13] T.F.Chan和P.C.Hansen，{\it揭示秩QR因式分解的一些应用}，SIAM J.Sci。统计师。计算。，13（1992年），第727-741页·Zbl 0756.65032号 [14] S.Chandrasekaran和I.C.F.Ipsen，{等级揭示QR因式分解}，SIAM J.矩阵分析。申请。，15（1994年），第592-622页·Zbl 0796.65030号 [15] Z.Chen和J.J.Dongarra，{高斯随机矩阵的条件数}，SIAM J.矩阵分析。申请。，27（2005），第603-620页·Zbl 1107.15016号 [16] H.Cheng、Z.Gimbutas、P.G.Martinsson和V.Rokhlin，《关于低秩矩阵的压缩》，SIAM J.Sci。计算。，26（2005），第1389-1404页·Zbl 1083.65042号 [17] J.K.Cullum和R.A.Willoughby，《大型对称特征值计算的Lanczos算法：第一卷：理论》，SIAM，费城，2002年·Zbl 1013.65033号 [18] T.A.Davis和Y.Hu，{佛罗里达大学稀疏矩阵收集}，ACM Trans。数学。《软件》，38（2011），第1-25页；可在线访问http://www.cise.ufl.edu/research/sparse/matrices。 ·Zbl 1365.65123号 [19] J.W.Demmel，《应用数值线性代数》，SIAM，费城，1997年·Zbl 0879.65017号 [20] J.W.Demmel、B.Diament和G.Malajovich，《关于计算误差界限的复杂性》，发现。计算。数学。，1（2001），第101-125页·Zbl 0997.65074号 [21] P.Drineas、R.Kannan和M.W.Mahoney，{矩阵的快速蒙特卡罗算法II:计算矩阵的低阶近似}，SIAM J.Compute。，36（2006），第158-183页·Zbl 1111.68148号 [22] P.Drineas、M.W.Mahoney和S.Muthkrishnan，《子空间采样和相对误差矩阵近似：基于列的方法》，《近似、随机和组合优化》，J.Diaz等人编辑，《计算讲义》。科学。4110，施普林格，柏林，2006年，第316-326页·Zbl 1155.68569号 [23] P.Drineas、M.W.Mahoney和S.Muthkrishnan，｛\it相对误差CUR矩阵分解｝，SIAM J.矩阵分析。申请。，30（2008），第844-881页·兹比尔1183.68738 [24] C.Eckart和G.Young，《一个矩阵与另一个低阶矩阵的近似》，《心理学》，第1期（1936年），第211-218页。 [25] R.D.Fierro和P.C.Hansen，{揭示UTV分解的低库}，数值。《算法》，15（1997），第37-55页·Zbl 0887.65043号 [26] L.V.Foster和X.Liu，{数值秩定义良好的矩阵的秩揭示算法比较}，手稿，加州圣何塞州立大学；可在线访问http://www.math.sjsu.edu/福斯特/秩/秩_revealing_s.pdf。 [27] A.Frieze、R.Kannan和S.Vempala，《寻找低阶近似的快速蒙特卡罗算法》，J.ACM，51（2004），第1025-1041页·Zbl 1125.65005号 [28] A.George和J.W.H.Liu，{最小度排序算法的进化}，SIAM Rev.，31（1989），第1-19页·Zbl 0671.65024号 [29] G.H.Golub和C.F.Van Loan，《矩阵计算》，第三版，约翰霍普金斯大学出版社，巴尔的摩，1996年·Zbl 0865.65009号 [30] R.G.Grimes、J.G.Lewis和H.D.Simon，{求解稀疏对称广义特征问题的移位块Lanczos算法}，SIAM J.矩阵分析。申请。，15（1994年），第228-272页·兹比尔0803.65044 [31] M.Gu和S.C.Eisenstat，计算强秩揭示QR因式分解的高效算法，SIAM J.Sci。计算。，17（1996），第848-869页·Zbl 0858.65044号 [32] W.Hackbusch，{it基于矩阵的稀疏矩阵算法。I.（mathcal{H}）-矩阵}导论，计算，62（1999），第89-108页·Zbl 0927.65063号 [33] W.W.Hager，{条件估计}，SIAM J.Sci。统计师。计算。，5（1984年），第311-316页·Zbl 0542.65023号 [34] N.Halko、P.G.Martinsson和J.A.Tropp，《寻找具有随机性的结构：构造近似矩阵分解的概率算法》，SIAM Rev.，53（2011），第217-288页·Zbl 1269.65043号 [35] M.R.Hestenes和E.Stiefel，《求解线性系统的共轭梯度方法》，J.Research Nat.Bur。《标准》，49（1954），第409-436页·兹比尔0048.09901 [36] N.J.Higham，{三角矩阵条件数估计综述}，SIAM Rev.，29（1987），第575-596页·Zbl 0635.65049号 [37] N.J.Higham，{矩阵范数估计的经验}，SIAM J.Sci。统计师。计算。，11（1990年），第804-809页·Zbl 0752.65036号 [38] N.J.Higham，{估计矩阵（p）-范数}，数值。数学。，62（1992），第539-555页·Zbl 0741.65040号 [39] N.J.Higham，《数值算法的准确性和稳定性》，SIAM，费城，1996年·Zbl 0847.65010号 [40] A.J.Hoffman和H.W.Wielandt，《正规矩阵谱的变化》，杜克数学出版社。J.，20（1953），第37-39页·Zbl 0051.00903号 [41] P.Hong和C.-T.Pan，揭示QR分解和SVD的秩，数学。公司。，58（1992），第213-232页·兹比尔074365037 [42] R.A.Horn和C.R.Johnson，《矩阵分析的主题》，剑桥大学出版社，英国剑桥，1991年·Zbl 0729.15001号 [43] I.T.Jolliffe，{主成分分析}，Springer-Verlag，纽约，1986年·Zbl 1011.62064号 [44] M.Kirby和L.Sirovich，{人脸特征化Karhunen-Loeve程序的应用}，IEEE Trans。模式分析。机器。智力。，12（1990年），第103-108页。 [45] E.Kokiopoulou，C.Bekas，and E.Gallopoulos，{\it Computing minimum singular triplets with includive restarted Lanczos bidagonalization}，应用。数字。数学。，49（2004），第39-61页·Zbl 1049.65027号 [46] J.Kuczynáski和H.Wozániakowski，{通过随机开始的幂和Lanczos算法估计最大特征值}，SIAM J.Matrix Anal。申请。，13（1992年），第1094-1122页·Zbl 0759.65016号 [47] J.Kuczynáski和H.Wozániakowski，{Lanczos算法对极值特征值和条件数的概率界}，SIAM J.矩阵分析。申请。，15（1994年），第672-691页·Zbl 0801.65034号 [48] A.Laub和J.Xia，{线性系统解的统计条件估计的应用}，数值。线性代数应用。，15（2008年），第489-513页·Zbl 1212.65130号 [49] R.B.Lehoucq、D.C.Sorensen和C.Yang，《ARPACK用户指南：用隐式重启Arnoldi方法解决大规模特征值问题》，SIAM，费城，1998年·Zbl 0901.65021号 [50] S.Li，M.Gu，C.J.Wu，J.Xia，{SPD矩阵的新型高效稳健HSS-Cholesky因式分解}，SIAM J.Matrix Anal。申请。，33（2012年），第886-904页·Zbl 1258.65031号 [51] E.Liberty，{\it Accelerated Dense Random Projections}，耶鲁大学计算机科学系博士论文，康涅狄格州纽黑文市，2009年。 [52] E.Liberty、N.Ailon和A.Singer，{密集快速随机投影和精益沃尔什变换}，《近似、随机化和组合优化》，A.Goel、K.Jansen、J.Rolim和R.Rubinfeld编辑，《计算讲义》。科学。5171，柏林施普林格，2008年，第512-522页·Zbl 1159.68643号 [53] E.Liberty、F.F.Woolfe、V.Rokhlin P.-G.Martinsson和M.Tygert，{矩阵低阶近似的随机算法}，Proc。国家。阿卡德。科学。美国，104（2007），第2016-2017页·Zbl 1215.65080号 [54] M.W.Mahoney，{矩阵和数据的随机算法}，Found。趋势马赫数。学习。，3（2011年），第123-224页·Zbl 1232.68173号 [55] P.G.Martinsson，{计算矩阵的层次半可分表示的快速随机算法}，SIAM J.matrix Anal。申请。，32（2011），第1251-1274页·兹比尔1237.65028 [56] P.-G.Martinsson、V.Rokhlin、Y.Shkolnisky和M.Tygert，｛\it ID:A Software Package for Low Rank Approximation of Matrix via Interpolation Decompositions，Version 0.4｝｛\it ID:A Software Package for Low Rank Approximation of Matrix via Interpolation Decompositions，版本0.4｝，http://cs-www.cs.yale.edu/home/tygert/id_doc.pdf (2014). [57] L.Miranian和M.Gu，｛\it强秩揭示LU因子分解｝，线性代数应用。，367（2003），第1-16页·兹比尔1020.65016 [58] N.Muller、L.Magaia和B.M.Herbst，《奇异值分解、特征面和3D重建》，SIAM Rev.，46（2004），第518-545页·Zbl 1061.65033号 [59] N.H.Nguyen、T.T.Do和T.D.Tran，{矩阵低阶近似的快速高效算法}，《第41届ACM计算理论研讨会论文集》（STOC'09），2009年，第215-224页·Zbl 1304.65140号 [60] C.-T.Pan，{关于秩揭示LU分解的存在性和计算}，线性代数应用。，316（2000），第199-222页·Zbl 0962.65023号 [61] N.J.Risch和B.Devlin，《DNA指纹匹配概率》，《科学》，255（1992），第717-720页。 [62] V.Rokhlin、A.Szlam和M.Tygert，《主成分分析的随机算法》，SIAM J.Matrix Ana。申请。，31（2009），第1100-1124页·Zbl 1198.65035号 [63] V.Rokhlin和M.Tygert，{超定线性最小二乘回归的快速随机算法}，Proc。国家。阿卡德。科学。美国，105（2008），第13212-13217页·Zbl 1513.62144号 [64] A.Ruhe，{大型稀疏对称矩阵特征值计算的带Lanczos算法的实现方面}，数学。公司。，33（1979年），第680-687页·Zbl 0443.65022号 [65] Y.Saad，{大型特征值问题的数值方法}，第2版，SIAM，费城，2011年·Zbl 1242.65068号 [66] T.T.Sarloás，{通过随机投影改进大矩阵的近似算法}，第47届IEEE计算机科学基础年会（FOCS）论文集，2006年，第143-152页。 [67] P.G.Schmitz和L.Ying，{它是（2）D}中一般网格上椭圆问题的快速直接求解器，J.Compute。物理。，231（2012），第1314-1338页·Zbl 1408.65022号 [68] P.G.Schmitz和L.Ying，{使用层次矩阵求解笛卡尔（3）D椭圆问题的快速嵌套剖分求解器}，J.Compute。物理。，258（2014），第227-245页·Zbl 1349.65598号 [69] P.Sinha、B.Balas、Y.Ostrovsky和R.Russell，《人类面部识别：所有计算机视觉研究人员都应该知道的19个结果》，Proc。IEEE，94（2006），第1948-1962页。 [70] L.Sirovich和M.Kirby，{人脸表征的低维程序}，J.Opt。Soc.Amer公司。A、 4（1987年），第519-524页。 [71] L.Sirovich和M.Meytlis，{人脸空间中的对称性、概率和识别}，Proc。国家。阿卡德。科学。，106（2009），第6895-6899页。 [72] G.W.Stewart，{更新等级揭示的ULV分解}，SIAM J.矩阵分析。申请。，14（1993），第494-499页·Zbl 0771.65021号 [73] D.B.Thomas、W.Luk、P.H.W.Leong和J.D.Villasenor，｛\it Gaussian随机数生成器｝，ACM Comput。调查。，39 (2007), 11. [74] M.Turk和A.Pentland，用于识别的特征人脸，认知神经科学杂志。，3（1991年），第71-86页。 [75] S.Van Huffel和H.Y.Zha，一种基于秩揭示双边正交分解的有效总最小二乘算法，Numer。《算法》，4（1993），第101-133页·Zbl 0768.65015号 [76] B.A.Wichmann和I.D.Hill，{算法AS 183:一种高效且可移植的伪随机数生成器}，应用。统计人员。，31（1982），第188-190页。 [77] F.Woolfe、E.Liberty、V.Rokhlin和M.Tygert，{矩阵近似的快速随机算法}，应用。计算。哈蒙。分析。，25（2008），第335-366页·Zbl 1155.65035号 [78] K.Wu和H.Simon，{大型对称特征值问题的厚重启动Lanczos方法}，SIAM J.矩阵分析。申请。，22（2000），第602-616页·Zbl 0969.65030号 [79] J.Xia、S.Chandrasekaran、M.Gu和X.S.Li，{大型结构线性方程组的超快速多面方法}，SIAM J.矩阵分析。申请。，31（2009），第1382-1411页·兹比尔1195.65031 [80] Xia和M.Gu，{秩结构对称正定矩阵的稳健近似Cholesky分解}，SIAM J.矩阵分析。申请。，31（2010年），第2899-2920页·Zbl 1217.65061号 [81] H.Xiang和J.Zou，{大规模离散反问题的随机SVD正则化}，反问题，29（2013），085008·Zbl 1286.65053号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。