×

随机Gram-Schmidt过程及其在GMRES中的应用。 (英语) Zbl 1492.65096号

摘要:一种随机Gram-Schmidt算法被开发用于高维向量的正交归一化或QR因子分解。与经典的Gram-Schmidt过程相比,所提出的过程的计算成本更低,同时其数值稳定性至少与改进的Gram-Schmidt方法相同。我们的方法基于随机绘制,这是一种降维技术,通过高维向量的小而有效的可计算随机图像(即所谓的草图)的内积来估计高维向量的内积。通过这种方法,可以通过将全矢量的草图正交化来获得全矢量的近似正交性。提出的Gram-Schmidt算法可以在任何体系结构中降低计算成本。通过以更高的精度执行非主导操作,可以扩大随机绘制的好处。在这种情况下,可以通过与问题的维数无关的工作单位舍入来保证数值稳定性。提出的Gram-Schmidt过程可以应用于Arnoldi迭代,并产生新的Krylov子空间方法来求解高维方程组或特征值问题。其中,我们选择随机GMRES方法作为该方法的实际应用。

MSC公司:

65层25 数值线性代数中的正交化

软件:

mctoolbox软件
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] N.N.Abdelmalek,Gram-Schmidt方法的舍入误差分析和线性最小二乘问题的求解,BIT,11(1971),第345-367页·Zbl 0236.65031号
[2] D.Achlioptas,《数据库友好随机投影:Johnson-Lindenstraus与二进制硬币》,J.comput。系统。科学。,66(2003),第671-687页·Zbl 1054.68040号
[3] N.Ailon和E.Liberty,双BCH码上使用Rademacher系列的快速降维,离散计算。地理。,42(2009),第615页·Zbl 1180.94083号
[4] O.Balabanov和A.Nouy,模型简化的随机线性代数。第一部分:Galerkin方法和误差估计,高级计算。数学。,45(2019年),第2969-3019页·Zbl 1464.65169号
[5] O.Balabanov和A.Nouy,模型简化的随机线性代数。第二部分:最小残差法和基于字典的近似,高级计算。数学。,47(2021),第1-54页·Zbl 1465.65036号
[6] J.L.Barlow、A.Smoktunowicz和H.Erbay,改进的Gram-Schmidt型降年方法,BIT,45(2005),第259-285页·Zbl 1087.65550号
[7] A.Bjo¨rck,通过Gram-Schmidt正交化解决线性最小二乘问题,BIT,7(1967),第1-21页·Zbl 0183.17802号
[8] E.Carson、T.Gergelits和I.Yamazaki,混合精度s步Lanczos和共轭梯度算法,Nume。线性代数应用。,新闻界·Zbl 07511606号
[9] M.P.Connolly、N.J.Higham和T.Mary,《随机取整及其概率向后误差分析》,SIAM J.Sci。计算。,43(2021),第A566-A585页·兹比尔1462.65050
[10] J.Drkošovaí,A.Greenbaum,M.Rozloz \780,niík,and Z.Strakos \780],gmres的数值稳定性,BIT,35(1995),第309-330页·Zbl 0837.65040号
[11] L.Giraud、S.Gratton和J.Langou,松弛gmres的后向误差收敛,SIAM J.Sci。计算。,29(2007),第710-728页·Zbl 1142.65031号
[12] L.Giraud、J.Langou和M.Rozloznik,Gram-Schmidt正交化过程中的正交性损失,计算。数学。申请。,50(2005),第1069-1075页·兹比尔1085.65037
[13] L.Giraud、J.Langou、M.Rozložniík和J.van den Eshof,经典Gram-Schmidt正交化过程的舍入误差分析,数值。数学。,101(2005),第87-100页·Zbl 1075.65060号
[14] S.Gratton、E.Simon、D.Titley-Peroquin和P.Toint,《利用GMRES中的可变精度》,预印本,arXiv:1907.105502019年·Zbl 07332751号
[15] A.Greenbaum、M.Rozložnik和Z.Strakos \780],修改的Gram-Schmidt gmres实现的数值行为,BIT,37(1997),第706-719页·Zbl 0891.65031号
[16] N.Halko、P.-G.Martinsson和J.A.Tropp,《发现随机结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页·Zbl 1269.65043号
[17] N.Higham和T.Mary,随机数据基本线性代数核的Sharper概率向后误差分析,SIAM J.Sci。计算。,42(2020年),第A3422-A3446页·Zbl 1452.65090号
[18] N.J.Higham,《数值算法的准确性和稳定性》,SIAM第二版,费城,2002年·Zbl 1011.65010号
[19] N.J.Higham和T.Mary,概率舍入误差分析的新方法,SIAM J.Sci。计算。,41(2019年),第A2815-A2835页·Zbl 07123205号
[20] I.C.Ipsen和H.Zhou,《内部产品的概率误差分析》,预印本,arXiv:1906.104652019年。
[21] S.K.Kim和A.Chrortopoulos,稀疏非对称矩阵极值特征值的高效并行算法,国际超级计算杂志。申请。,6(1992年),第98-111页。
[22] S.J.Leon,\AA.Bjo-rck和W.Gander,Gram Schmidt正交化:100年及更长时间,Numer。线性代数应用。,20(2013),第492-532页·兹比尔1313.65086
[23] J.Malard和C.Paige,两种并行QR分解算法的效率和可扩展性,《IEEE可扩展高性能计算会议论文集》,IEEE,1994年,第615-622页。
[24] C.C.Paige、M.Rozlozniík和Z.Strakos,修改的Gram-Schmidt(MGS),最小平方和MGS-GMRES的后向稳定性,SIAM J.矩阵分析。申请。,28(2006),第264-284页·Zbl 1113.65028号
[25] D.Pollard,《高级概率讲义》,单字母,耶鲁大学统计与数据科学系,2017年。
[26] M.Rozlozniök,《GMRES方法的数值稳定性》,手稿,1996年。
[27] A.Ruhe,向量Gram-Schmidt正交化的数值方面,线性代数应用。,52(1983年),第591-601页·Zbl 0515.65036号
[28] T.Sarlos,《通过随机投影改进大矩阵近似算法》,第47届IEEE计算机科学基础年会论文集,IEEE,2006年,第143-152页。
[29] V.Simoncini和D.B.Szyld,线性系统Krylov子空间方法的最新计算发展,Numer。线性代数应用。,14(2007),第1-59页·Zbl 1199.65112号
[30] A.Smoktunowicz、J.L.Barlow和J.Langou,经典Gram-Schmidt错误分析注释,Numer。数学。,105(2006),第299-313页·Zbl 1108.65021号
[31] K.Síwirydowicz、J.Langou、S.Ananthan、U.Yang和S.Thomas,低同步Gram-Schmidt和广义最小残差算法,Numer。代数应用。,28(2021年),第2343页·Zbl 1474.65103号
[32] J.Van Den Eshof和G.L.Sleijpen,线性系统的不精确Krylov子空间方法,SIAM J.矩阵分析。申请。,26(2004),第125-153页·Zbl 1079.65036号
[33] R.Vershynin,《高维概率:数据科学应用简介》,剑桥大学出版社,英国剑桥,2018年·Zbl 1430.60005号
[34] D.P.Woodruff,素描作为数值线性代数的工具,Foun。趋势理论。计算。科学。,10(2014),第1-157页·Zbl 1316.65046号
[35] I.Yamazaki、S.Tomov、T.Dong和J.Dongarra,用于提高GPU上CA-GMRES稳定性和性能的混合精度正交化方案和自适应步长,《计算科学高性能计算国际会议论文集》,Springer,2014年,第17-30页·Zbl 07631077号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。