×

自适应步长共轭梯度法。 (英语) Zbl 1398.65044号

摘要:Krylov子空间方法在大型并行计算机上的性能通常受到通信或数据移动的限制。这激发了\(s)-step(或communication-avoid)变体的开发,其中迭代是以\(s \)块计算的。这种重新表述可以将每次迭代的全局同步次数减少\(O(s)\),并已被证明在某些实际设置中会产生加速。尽管阶跃变量在数学上与经典变量等效,但根据参数的不同,它们在有限精度下的表现可能会大不相同。如果(s)太大,与经典方法相比,(s)步方法可能会出现收敛延迟,并降低可达到的精度。作为对步长Krylov子空间方法中精度损失的潜在补救,我们引入并分析了一种可变步长共轭梯度法,在该方法中,块之间可能会发生变化。从包含(s_k)迭代的块(k)中剩余间隙增长的一个界出发,我们导出了对计算出的(O(s_k)维Krylov子空间基的条件数的约束,从而可以达到所需的精度。分析表明,可以允许(s_k)以与计算残差大小成反比的速度增长,而不会影响精度。然后我们介绍了自适应步长共轭梯度法,这是一种可变步长方法,它使用廉价的估计和用户特定的精度约束,自动在每个块中选择合适的步长。我们的数值实验表明,在固定步长共轭梯度法失败的情况下,自适应步长共轭渐变法能够达到与经典共轭梯度法相同的精度。

MSC公司:

65层10 线性系统的迭代数值方法
65层50 稀疏矩阵的计算方法
65克50 舍入误差
2005年5月 并行数值计算
65年20月 数值算法的复杂性和性能
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] \AA。比约·rck、T.Elfving和Z.Strakos,线性最小二乘问题的共轭梯度法和Lanczos法的稳定性,SIAM J.矩阵分析。申请。,19(1998),第720-736页。
[2] A.Bouras和V.Fraysse,求解线性系统的Krylov方法中的不精确矩阵-向量积:松弛策略,SIAM J.矩阵分析。申请。,26(2005),第660-678页·Zbl 1075.65041号
[3] A.Bouras、V.Fraysseí和L.Giraud,区域分解方法中内外线性解的松弛策略《技术报告CERFACS TR/PA/00/17》,欧洲科学计算研究和高级培训中心,法国图卢兹,2000年。
[4] E.Carson,通信回避Krylov子空间方法的理论与实践,博士论文,加州大学伯克利分校电气工程与计算机科学系,加州伯克利分校,2015年。
[5] E.Carson和J.Demmel,提高(s)步Krylov子空间方法最大可达精度的残差替换策略,SIAM J.矩阵分析。申请。,35(2014),第22-43页·Zbl 1302.65075号
[6] E.Carson、N.Knight和J.Demmel,基于非对称Lanczos的Krylov子空间方法中的通信避免,SIAM J.科学。计算。,35(2013),第S42–S61页·Zbl 1281.65057号
[7] A.Chronopoulos和C.Gear,\对称线性系统的(s)步迭代法,J.计算。申请。数学。,25(1989),第153-168页·Zbl 0669.65021号
[8] S.Cools、E.F.Yetkin、E.Agullo、L.Giraud和W.Vanroose,局部舍入误差传播对流水线共轭梯度法最大可达精度的影响分析,SIAM J.矩阵分析。申请。,39(2018),第426–450页·兹比尔1392.65048
[9] T.Davis和Y.Hu,佛罗里达大学稀疏矩阵集合,ACM变速器。数学。软件,38(2011),第1-25页·Zbl 1365.65123号
[10] J.Demmel、M.Hoemmen、M.Mohiyuddin和K.Yelick,计算Krylov子空间时避免通信《技术报告UCB/EECS-2007-123》,加州大学伯克利分校电气工程与计算机科学系,伯克利,加利福尼亚州,2007年。
[11] J.Dongarra、P.Beckman、T.Moore、P.Aerts、G.Aloisio、J.-C.Andre、D.Barkai等人。,国际Exascale软件项目路线图《国际期刊》,《高性能计算》。申请。,25(2011年),第3-60页。
[12] P.Ghysels、T.J.Ashby、K.Meerbergen和W.Vanroose,大规模并行机上GMRES算法中隐藏全局通信延迟,SIAM J.科学。计算。,35(2013),第C48–C71页·Zbl 1273.65050号
[13] P.Ghysels和W.Vanroose,预处理共轭梯度算法中隐藏全局同步延迟,并行计算。,40(2014年),第224-238页。
[14] L.Giraud、S.Gratton和J.Langou,松弛GMRES后向误差的收敛性,SIAM J.科学。计算。,29(2007),第710-728页·Zbl 1142.65031号
[15] G.Golub和C.Van Loan,矩阵计算第三版,约翰·霍普金斯大学出版社,马里兰州巴尔的摩,1996年·Zbl 0865.65009号
[16] A.格林鲍姆,估计递归计算残差法的可达到精度,SIAM J.矩阵分析。申请。,18(1997),第535–551页·Zbl 0873.65027号
[17] M.H.Gutknecht和Z.Strakoš,Krylov空间解算器的两个三项和三个二项递推的精度,SIAM J.矩阵分析。申请。,22(2000),第213-229页·Zbl 0976.65030号
[18] M.Hestenes和E.Stiefel,求解线性系统的共轭梯度法,J.Research Nat.Bur。《标准》,49(1952),第409-436页·Zbl 0048.09901号
[19] M.Hoemmen,通信避免Krylov子空间方法,博士论文,加州大学伯克利分校电气工程与计算机科学系,2010年。
[20] D.Imberti和J.Erhel,改变步骤GMRES中的,电子。事务处理。数字。分析。,47(2017),第206-230页·Zbl 1386.65108号
[21] M.Mehri Dehnavi、Y.El-Kurdi、J.Demmel和D.Giannacopoulos,图形处理单元上的通信避免Krylov技术,IEEE传输。马格纳。,49(2013),第1749-1752页。
[22] M.莫希尤丁(M.Mohiyuddin)、M.霍曼(M.Hoemmen)、J.德梅尔(J.Demmel)和K.耶利克(K.Yelick),最小化稀疏矩阵求解器中的通信,SC'09:《高性能计算网络、存储和分析会议论文集》,美国计算机学会,纽约,2009年,第36页。
[23] B.Philippe和L.Reichel,关于Krylov子空间基的生成,申请。数字。数学。,62(2012),第1171-1186页·Zbl 1253.65049号
[24] V.Simoncini和D.B.Szyld,不精确Krylov子空间方法理论及其在科学计算中的应用,SIAM J.科学。计算。,25(2003),第454–477页·Zbl 1048.65032号
[25] G.L.G.Sleijpen、H.A.van der Vorst和D.R.Fokkema,BiCGstab(l)和其他Bi-CG混合方法,数字。《算法》,7(1994),第75-109页·Zbl 0810.65027号
[26] G.L.G.Sleijpen、H.A.van der Vorst和J.Modersitzki,对称不定线性系统Krylov解算器中舍入误差影响的差异,SIAM J.矩阵分析。申请。,22(2000),第726–751页·Zbl 0983.65046号
[27] J.van den Eshof和G.L.G.Sleijpen,线性系统的非精确Krylov子空间方法,SIAM J.矩阵分析。申请。,26(2004),第125–153页·Zbl 1079.65036号
[28] H.A.van der Vorst和Q.Ye,真残差收敛的Krylov子空间迭代方法的残差替换策略,SIAM J.科学。计算。,22(2000),第835–852页·Zbl 0983.65039号
[29] S.Williams、M.Lijewski、A.Almgren、B.Van Straalen、E.Carson、N.Knight和J.Demmel,\(s)步Krylov子空间方法作为几何多重网格的底解器,《2014年IEEE第28届国际并行和分布式处理研讨会论文集》,2014年,第1149–1158页。
[30] I.Yamazaki、H.Anzt、S.Tomov、M.Hoemmen和J.Dongarra,在具有多个GPU的多核上提高CA-GMRES的性能,《2014年IEEE第28届国际并行和分布式处理研讨会论文集》,2014年,第382-391页。
[31] I.Yamazaki、M.Hoemmen、P.Luszczek和J.Dongarra,通过减少通信和管道全球集体来提高GMRES的性能,载于《2017年IEEE国际并行和分布式处理研讨会研讨会论文集》,2017年,第1118-1127页。
[32] I.Yamazaki、S.Rajamanickam、E.Boman、M.Hoemmen、M.Heroux和S.Tomov,用于避免混合CPU/GPU集群上的Krylov方法的通信的域分解预处理器,摘自SC'14:《高性能计算、网络、存储和分析国际会议论文集》,IEEE出版社,新泽西州皮斯卡塔韦,2014年,第933–944页。
[33] I.Yamazaki和K.Wu,分布式内存系统中一种避免通信的厚重启Lanczos方法,摘自《2011年欧洲汽车展:并行处理研讨会》,柏林施普林格,海德堡,2012年,第345-354页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。