×

非对称步长Lanczos算法:BiCG和QMR有效递归和同步减少变体的推导。 (英语) Zbl 1347.65069号

摘要:Lanczos算法是计算大型稀疏非对称矩阵几个主要特征值最常用的迭代技术之一。同时,它也是双共轭梯度(BiCG)和准最小残差(QMR)的构造块求解大型稀疏非对称线性方程组的方法。众所周知,当在具有大量进程的分布式内存计算机上实现时,计算点产品所花费的同步时间越来越限制了并行可伸缩性。因此,我们提出了Lanczos的同步减少变体,以及BiCG和QMR方法,试图减轻这些负面性能影响。这些所谓的步长算法是基于将点积分组以便联合执行,并用高效的向量递归替换耗时的矩阵运算。本文的目的是严格推导单步Lanczos算法的递推公式,引入单步BiCG和QMR变量,并将这些新的单步版本与以前的算法进行并行性能比较。

MSC公司:

2015财年65 矩阵特征值和特征向量的数值计算
15甲18 特征值、奇异值和特征向量
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Balay,S.、Gropp,W.D.、McInnes,L.C.和Smith,B.F.(1997年)。面向对象数值软件库中并行性的有效管理,E.Arge等人(编辑),科学计算中的现代软件工具,Birkhäuser出版社,马萨诸塞州波士顿,第163-202页·兹伯利0882.65154
[2] Bücker,H.M.(2002)。在并行计算机上迭代求解大型稀疏线性系统,J.Grotendorst、D.Marx和A.Muramatsu(编辑),《复杂多体系统的量子模拟:从理论到算法》,NIC系列,第10卷,约翰·冯·诺依曼计算研究所,Jülich,第521-548页。;
[3] Bücker,H.M.和Sauren,M.(1996)。基于耦合双项递推的准最小残差法的并行版本,见J.Wa sh niewski等人(编辑),《应用并行计算》,计算机科学讲义,第1184卷,柏林斯普林格,第157-165页·兹伯利0888.65036
[4] Bücker,H.M.和Sauren,M.(1997)。适用于大规模并行计算的双共轭梯度法的变体,见G.Bilardi等人(编辑),《并行解决不规则结构问题》,计算机科学讲义,第1253卷,柏林斯普林格,第72-79页。;
[5] Bücker,H.M.和Sauren,M.(1999)。减少双共轭梯度法中的全局同步,T.Yang(编辑),并行数值计算与应用,Kluwer学术出版社,马萨诸塞州诺维尔,第63-76页·Zbl 0945.65029号
[6] Cappello,F.、Geist,A.、Gropp,B.、Kale,L.、Kramer,B.和Snir,M.(2009年)。面向exascale弹性,国际高性能计算应用杂志23(4): 374-388.;
[7] Carson,E.和Demmel,J.(2014)。提高s步Krylov子空间方法最大可达精度的残差替换策略,SIAM矩阵分析与应用杂志35(1): 22-43.; ·Zbl 1302.65075号
[8] Carson,E.、Knight,N.和Demmel,J.(2014)。避免非对称Lanczos基Krylov子空间方法中的通信,SIAM科学计算杂志35(5) :S42-S61·Zbl 1281.65057号
[9] Chronopoulos,A.T.(1986年)。在多处理机上实现的一类并行迭代方法,技术报告UIUCDCS-R-86-1267,伊利诺伊州乌尔班纳市伊利诺伊大学计算机科学系。;
[10] Chronopoulos,A.T.和Gear,C.W.(1989)。对称线性系统的s步迭代法,计算与应用数学杂志25(2): 153-168.; ·Zbl 0669.65021号
[11] Chronopoulos,A.T.和Swanson,C.D.(1996年)。非对称线性系统的并行迭代s步方法,并行计算22(5): 623-641.; ·Zbl 0873.65019号
[12] Curfman McInnes,L.、Smith,B.、Zhang,H.和Mills,R.T.(2014)。极值计算的层次Krylov方法和嵌套Krylof方法,并行计算40(1): 17-31.;
[13] Davis,N.E.、Robey,R.W.、Ferenbaugh,C.R.、Nicholaeff,D.和Trujillo,D.P.(2012)。exascale超级计算的范式转换,超级计算杂志62(2): 1023-1044.;
[14] Demmel,J.、Heath,M.和van der Vorst,H.(1993年)。并行数值线性代数2(1): 111-197.; ·Zbl 0793.65011号
[15] 达夫,I.S.(2012)。欧洲exascale软件倡议:数字库、求解器和算法,D.Hutchison等人(编辑),2011年欧洲标准:并行处理研讨会,计算机科学讲义,第7155卷,柏林施普林格,第295-304页。;
[16] Duff,I.S.和van der Vorst,H.A.(1999年)。线性系统并行求解、并行计算的发展和趋势25(13-14): 1931-1970.;
[17] Feuerriegel,S.和Bücker,H.M.(2013a)。非对称s步Lanczos算法的规范化方案,J.Kolodziej等人(编辑),ICA3PP,第二部分,计算机科学讲稿,第8286卷,柏林斯普林格,第30-39页。;
[18] Feuerriegel,S.和Bücker,H.M.(2013b)。双共轭梯度和准最小残差方法的同步还原变体,J.Kolodziej等人(编辑),ICA3PP,第一部分,计算机科学讲义,第8285卷,柏林斯普林格,第226-235页。;
[19] Fischer,B.和Freund,R.(1994年)。Hermitian正定系统的无内积共轭类梯度算法,J.Brown等人(编辑),Cornelius Lanczos国际百年纪念大会,宾夕法尼亚州费城SIAM,第288-290页。;
[20] Fletcher,R.(1976年)。不定系统的共轭梯度法,G.Watson(编辑),数值分析,计算机科学讲义,第506卷,Springer,柏林,第73-89页·Zbl 0326.65033号
[21] Freund,R.和Nachtigal,N.(1991年)。QMR:非厄米线性系统的拟最小残差法,数值数学60(1): 315-339.; ·Zbl 0754.65034号
[22] Freund,R.W.和Hochbruck,M.(1991)。大规模并行体系结构上的双共轭梯度型算法,见R.Vichnevetsky和J.J.H.Miller(编辑),IMACS’91,都柏林标准出版社,第720-721页。;
[23] Freund,R.W.和Hochbruck,M.(1992年)。大规模并行体系结构上非厄米线性系统迭代解的双共轭梯度型算法,见C.Brezinski和U.Kulisch(编辑),IMACS’91,荷兰北部,阿姆斯特丹,第169-178页·Zbl 0789.65020号
[24] Freund,R.W.和Nachtigal,N.M.(1994年)。基于耦合二项递归的QMR方法的实现,SIAM科学计算杂志15(2): 313.; ·Zbl 0803.65036号
[25] Ghysels,P.、Ashby,T.J.、Meerbergen,K.和Vanroose,W.(2013)。在大规模并行机器上的GMRES算法中隐藏全局通信延迟,SIAM科学计算杂志35(1) :C48-C71·兹比尔1273.65050
[26] Ghysels,P.和Vanroose,W.(2014)。预处理共轭梯度算法中隐藏全局同步延迟的并行计算40(7): 224-238.;
[27] Gustafsson,M.、Demmel,J.和Holmgren,S.(2012a)。避免通信的Lanczos算法的数值评估,技术报告2012-001,乌普萨拉大学信息技术系,乌普巴拉。;
[28] Gustafsson,M.、Kormann,K.和Holmgren,S.(2012b)。数值量子动力学的通信高效算法,收录于K.Jónasson(Ed.),应用并行和科学计算,计算机科学讲义,第7134卷,柏林斯普林格,第368-378页。;
[29] Gutknecht,M.H.(1997年)。非对称线性方程组的Lanczos型解算器,数值学报6(1): 271-397.; ·Zbl 0888.65030号
[30] Hernandez,V.、Roman,J.E.和Vidal,V.(2005年)。SLEPc:用于解决特征值问题的可扩展且灵活的工具包,ACM数学软件事务31(3): 351-362.; ·Zbl 1136.65315号
[31] Hoemmen,M.F.(2010年)。避免通信的Krylov子空间方法,加利福尼亚大学伯克利分校EECS系博士论文。;
[32] Kandalla,K.、Yang,U.、Keasler,J.、Kolev,T.、Moody,A.、Subramoni,H.、Tomko,K.Vienne,J.,De Supinski,B.和Panda,D.(2012)。InfiniBand集群上使用集体卸载设计非阻塞allreduce:共轭梯度解算器的案例研究,2012年IEEE第26届国际并行分布式处理研讨会(IPDPS)论文集,中国上海,第1156-1167页。;
[33] Kim,S.K.(2010)。消息传递并行计算机上的高效双正交Lanczos算法,C.H.Hsu和V.Malyshkin(编辑),MTPP 2010,计算机科学讲义,第6083卷,柏林斯普林格,第293-299页。;
[34] Kim,S.K.和Chronopoulos,A.(1991年)。在并行计算机上实现的一类类Lanczos算法,并行计算17(6-7): 763-778.; ·Zbl 0735.65016号
[35] Kim,S.K.和Chronopoulos,A.T.(1992年)。并行向量计算机上的高效非对称Lanczos方法,计算与应用数学杂志42(3): 357-374.; ·Zbl 0756.65057号
[36] Kim,S.K.和Kim,T.H.(2005)。关于高效并行块Lanczos方法的研究,J.Zhang,J.-H.He和Y.Fu(编辑),计算与信息科学,计算机科学讲义,第3314卷,Springer,柏林/海德堡,第231-237页·Zbl 1117.65371号
[37] Lanczos,C.(1950)。解线性微分和积分算子特征值问题的迭代方法,国家标准局研究杂志45(4): 255-282.;
[38] Meurant,G.(1986年)。超级计算机上的共轭梯度法13: 9-17.;
[39] Mohiyuddin,M.,Hoemmen,M.、Demmel,J.和Yelick,K.(2009年)。最小化稀疏矩阵求解器中的通信,高性能计算网络、存储和分析会议,美国俄勒冈州波特兰,第36:1-36:12页。;
[40] Saad,Y.(1989)。超级计算机上的Krylov子空间方法,SIAM科学与统计计算杂志10(6): 1200-1232.; ·Zbl 0693.65028号
[41] Sauren,M.和Bücker,H.M.(1998年)。关于导出拟最小残差方法,SIAM Review40(4): 922-926.; ·Zbl 0913.65029号
[42] Shalf,J.、Dosanjh,S.和Morrison,J.(2011)。Exascale计算技术挑战,见D.Hutchison等人(编辑),《计算科学的高性能计算》,VECPAR 2010,《计算机科学讲义》,第6449卷,柏林斯普林格,第1-25页。;
[43] van der Vorst,H.(1990年)。超级计算机上求解大型方程组的迭代方法,水资源进展13(3): 137-146.;
[44] van der Vorst,H.A.和Ye,Q.(2000)。真实残差收敛的Krylov子空间迭代方法的残差替换策略,SIAM科学计算杂志22(3): 835-852.; ·Zbl 0983.65039号
[45] Van Rosendale,J.(1983年)。最小化共轭梯度迭代中的内部产品数据相关性,NASA承包商报告NASA-CR-172178,NASA兰利研究中心,弗吉尼亚州汉普顿。;
[46] Zhu,S.-X.,Gu,T.-X.和Liu,X.-P.(2014)。最小化分布式超级计算机、计算机和数学应用程序的稀疏迭代求解器中的同步67(1): 199-209.; ·Zbl 1381.68019号
[47] Zuo,X.,Gu,T.-X.和Mo,Z.(2010)。适用于分布式并行计算、应用数学和计算的改进GPBi-CG算法215(12): 4101-4109.; ·Zbl 1186.65041号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。