×

可伸缩异步域分解求解器。 (英语) Zbl 1461.65257号

概述:线性迭代求解器的并行实现通常在数据交换阶段和局部计算阶段交替进行。越来越大的问题规模和越来越异构的计算体系结构使得负载平衡和设计能够满足线性求解器通信要求的低延迟网络互连变得非常具有挑战性。特别是,内部产品等全球传播模式在规模上越来越受到限制。我们探讨了在域分解求解器上下文中基于单边消息传递接口原语的异步通信的使用。特别地,提出了一种可扩展的异步两级Schwarz方法。我们讨论了在开发可伸缩解算器时遇到的实际问题,并展示了在最先进的超级计算机系统上获得的实验结果,这些结果说明了异步解算器在负载平衡和负载不平衡场景中的优势。使用这种新方法,我们可以观察到其加速比经典同步等效值高出四倍。

MSC公司:

65号55 多重网格方法;含偏微分方程边值问题的区域分解
2005年5月 并行数值计算
68宽10 计算机科学中的并行算法
68宽15 分布式算法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] V.Ahlgren、S.Andersson、J.M.Brandt、N.P.Cardo、S.Chunduri、J.Enos、P.Fields、A.Gentile、R.Gerber、J.Greenseid、A.Greiner、B.Hadri、Y.He、D.Hoppe、U.Kaila、K.Kelly、M.Klein、A.Kristiansen、S.Leak、M.Mason、K.Pedretti、J.-G.Piccinali、J.Repik、J.Rogers、S.Salminen、M.Showerman、C.Whitney和J.Williams,克雷系统监测:成功需求和优先事项,技术报告,桑迪亚国家实验室,新墨西哥州阿尔伯克基,2018年。
[2] J.M.Bahi、S.Contassot-Vivier、R.Couturier和F.Vernier,异步并行迭代算法的分散收敛检测算法,IEEE Trans。并行分布式系统。,16(2005),第4-13页。
[3] S.Balay、S.Abhyankar、M.F.Adams、J.Brown、P.Brune、K.Buschelman、L.Dalcin、A.Dener、V.Eijkhout、W.D.Gropp、D.Karpeyev、D.Kaushik、M.G.Knepley、D.A.May、L.C.McInnes、R.T.Mills、T.Munson、K.Rupp、P.Sanan、B.F.Smith、S.Zampini、H.Zhang和H.Zhang,PETSc用户手册,技术报告ANL-95/11,3.13版,阿贡国家实验室,2020年,https://www.mcs.anl.gov/petsc。
[4] G.M.Baudet,《多处理器异步迭代方法》,J.ACM,25(1978),第226-244页·Zbl 0372.68015号
[5] D.P.Bertsekas,不动点的分布式异步计算,数学。程序。,27(1983年),第107-120页·Zbl 0521.90089号
[6] D.P.Bertsekas和J.N.Tsitsiklis,《并行和分布式计算:数值方法》,Prentice-Hall,Englewood Cliffs,新泽西州,1989年·Zbl 0743.65107号
[7] X.-C.Cai,M.Dryja和M.Sarkis,对称正定线性系统的带调和重叠的限制加性Schwarz预条件子,SIAM J.Numer。分析。,41(2003),第1209-1231页·Zbl 1052.65036号
[8] X.-C.Cai和M.Sarkis,一般稀疏线性系统的限制加性Schwarz预条件,SIAM J.Sci。计算。,21(1999),第792-797页·Zbl 0944.65031号
[9] F.Cappello、A.Geist、B.Gropp、L.Kale、B.Kramer和M.Snir,《迈向exascale弹性》,国际高绩效计算杂志。申请。,23(2009),第374-388页,https://doi.org/10.1177/109434347767。
[10] F.Cappello、A.Geist、W.Gropp、S.Kale、B.Kramer和M.Snir,《迈向exascale弹性:2014年更新》,超级计算机。前面。因诺夫。,1(2014),第5-28页,https://doi.org/10.14529/jsfi140101。
[11] D.Chazan和W.Miranker,混沌松弛,线性代数应用。,2(1969年),第199-222页·Zbl 0225.65043号
[12] Y.Chen、T.A.Davis、W.W.Hager和S.Rajamanickam,算法887:Cholmod,超节点稀疏Cholesky因子分解和更新/停机,ACM Trans。数学。软质。,35 (2008), https://doi.org/10.1145/1391989.1391995。
[13] A.T.Chronopoulos和C.W.Gear,关于预处理s步共轭梯度法在具有内存层次结构的多处理机上的有效实现,并行计算。,11(1989),第37-53页·Zbl 0679.65020号
[14] A.T.Chronopoulos和C.W.Gear,对称线性系统的步长迭代方法,J.Compute。申请。数学。,25(1989),第153-168页,https://.doi.org/10.1016/0377-0427(89)90045-9. ·兹伯利0669.65021
[15] J.W.Demmel、S.C.Eisenstat、J.R.Gilbert、X.S.Li和J.W.H.Liu,稀疏部分旋转的超节点方法,SIAM J.Matrix Anal。申请。,20(1999),第720-755页·兹伯利0931.65022
[16] V.Dolean、P.Jolivet和F.Nataf,《区域分解方法简介:算法、理论和并行实现》,SIAM,费城,2015年,https://doi.org/10.1137/1.9781611974065.ch1。 ·Zbl 1364.65277号
[17] M.El Haddad、J.C.Garay、F.Magoulès和D.B.Szyld,有界域单向细分的同步和异步优化Schwarz方法,数值线性代数应用。,27(2020),e2279·Zbl 1524.65919号
[18] A.Frommer和D.B.Szyld,《异步迭代》,J.Compute。申请。数学。,123(2000),第201-216页·Zbl 0967.65066号
[19] A.Frommer和D.B.Szyld,使用加权最大范数的限制可加Schwarz方法的代数收敛理论,SIAM J.Numer。分析。,39(2001),第463-479页·Zbl 1006.65031号
[20] J.C.Garay、F.Magoulès和D.B.Szyld,矩形域泊松方程的同步和异步优化Schwarz方法,技术报告17-10-18,宾夕法尼亚州费城天普大学数学系,2018年·Zbl 1450.65161号
[21] J.C.Garay、F.Magoulès和D.B.Szyld,平面内异步优化Schwarz方法的收敛性,《科学与工程领域分解方法学报》第二十四卷,P.E.Björstad、s.C.Brenner、L.Halpern、H.H.Kim、R.Kornhuber、T.Rahman和O.B.Widlund编辑,《计算讲稿》。科学。工程,2018年,柏林施普林格,第333-341页·Zbl 1450.65160号
[22] P.Ghysels、T.J.Ashby、K.Meerbergen和W.Vanroose,在大规模并行机器上隐藏GMRES算法中的全局通信延迟,SIAM J.Sci。计算。,35(2013),第C48-C71页·Zbl 1273.65050号
[23] P.Jolive,F.Hecht,F.Nataf,and C.Prudhomme,异质椭圆问题的可伸缩区域分解预条件,《高性能计算、网络、存储和分析国际会议论文集》,SC 13,计算机械协会,纽约,2013年,https://doi.org/10.1145/25032102503212。
[24] P.Jolivet和F.Nataf,HPDDM-区域分解方法的高性能统一框架,2020年,https://github.com/hpddm/hpddm。
[25] G.Karypis和V.Kumar,用于划分不规则图的快速高质量多级方案,SIAM J.Sci。计算。,20(1998),第359-392页,https://doi.org/10.1137/S1064827595287997。 ·Zbl 0915.68129号
[26] R.B.Lehoucq、D.C.Sorensen和C.Yang,《ARPACK用户指南:用隐式重启Arnoldi方法解决大规模特征值问题》,SIAM,费城,1998年·Zbl 0901.65021号
[27] X.Li、J.Demmel、J.Gilbert、L.Grigori、M.Shao和I.Yamazaki,《SuperLU用户指南》,技术报告LBNL-44289,劳伦斯伯克利国家实验室,1999年,https://portal.nersc.gov/project/sparese/superlu/。
[28] J.Liu、J.Wu和D.K.Panda,在InfiniBand上实现基于RDMA的高性能MPI,国际。J.并行程序。,32(2004),第167-198页·兹比尔1060.68571
[29] F.Magoulès和G.Gbikpi-Benissan,异步迭代下基于全局残差的分布式收敛检测,IEEE Trans。并行分配系统。,29(2018),第830-842页·Zbl 1404.65155号
[30] F.Magoulès、D.B.Szyld和C.Venet,有重叠和无重叠的异步优化Schwarz方法,Numer。数学。,137(2017),第199-227页,https://doi.org/10.1007/s00211-017-0872-z。 ·Zbl 1382.65449号
[31] Z.Peng,Y.Xu,M.Yan,and W.Yin,ARock:异步并行坐标更新的算法框架,SIAM J.Sci。计算。,38(2016),第A2851-A2879页,https://doi.org/10.1137/15M1024950。 ·Zbl 1350.49041号
[32] M.Si、A.J.Pena、J.Hammond、P.Balaji、M.Takagi和Y.Ishikawa,Casper:多核架构上MPI RMA的异步进程模型,IEEE国际并行与分布式处理研讨会(IPDPS)会议记录,IEEE,2015年,第665-676页。
[33] B.Smith、P.Bjorstad和W.Gropp,《区域分解:椭圆偏微分方程的并行多层方法》,剑桥大学出版社,剑桥,2004年·Zbl 0857.65126号
[34] A.Toselli和O.Widlund,《区域分解方法:算法和理论》,Springer Ser。计算机数学。34,施普林格,柏林,2006年·Zbl 1069.65138号
[35] J.Wolfson-Pou和E.Chow,异步多重网格方法,第33届IEEE国际并行和分布式处理研讨会(IPDPS)论文集,IEEE,2019年,第101-110页。
[36] I.Yamazaki、E.Chow、A.Bouteiller和J.Dongarra,《使用单面通信的异步优化Schwarz的性能》,并行计算。,86(2019年),第66-81页。
[37] I.Yamazaki、S.Rajamanickam、E.G.Boman、M.Hoemmen、M.A.Heroux和S.Tomov,混合CPU/GPU集群上通信的区域分解预处理-避免Krylov方法,《高性能计算、网络、存储和分析国际会议论文集》,IEEE出版社,新泽西州皮斯卡塔韦,2014年,第933-944页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。