×

最小化分布式超级计算机稀疏迭代解算器中的同步。 (英语) Zbl 1381.68019号

摘要:消除同步是现代高性能计算中与最小化通信相关的重要技术之一。本文讨论了分布式超级计算机上稀疏迭代求解器中由于全局同步而减少通信的原理。我们演示了如何通过重新调度典型的Krylov子空间方法来最小化全局同步。理论分析表明了最小化同步的好处,并通过数值实验进行了验证。实验还表明,一些结构化稀疏矩阵向量乘法的局部通信和底层超级计算机中的全局通信分别以(P^{1/2.5})和(P^}4/5})的顺序增加,其中(P)是处理器的数量。

MSC公司:

64岁以下 分布式系统
68宽15 分布式算法
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 布朗,D.L。;Messina,P.,《科学的重大挑战:Exascale的交叉计算技术》(2010年)
[3] Patterson,D.A.,《潜伏期滞后》,Commun。ACM,47,10,71-75(2004)
[4] 巴拉德·G。;德梅尔,J。;霍尔茨,O。;施瓦茨,O.,《数字线性代数中通信最小化》,SIAM J.矩阵分析。申请。,32, 3, 866-901 (2011) ·Zbl 1246.68128号
[5] 德梅尔,J。;霍姆曼,M。;莫希尤丁,M。;Yelick,K.,《避免稀疏矩阵计算中的通信》(IEEE并行和分布式处理国际研讨会,2008年)。IEEE并行和分布式处理国际研讨会,2008年,IPDPS 2008(2008),IEEE),1-12
[6] 我是E.J。;Yelick,K。;Vuduc,R.,《稀疏性:稀疏矩阵核的优化框架》,国际期刊《高性能计算》。申请。,18, 1, 135-158 (2004)
[7] 莫希尤丁,M。;霍姆曼,M。;德梅尔,J。;Yelick,K.,《稀疏矩阵求解器中通信最小化》,(《高性能计算网络、存储和分析会议论文集》(2009),ACM),36
[8] 尼什塔拉,R。;Yelick,K.A.,《优化多核上的集体通信》,(第一届USENIX并行热点会议论文集(2009年),USENIX协会),第18-18页
[10] 卡森,E。;奈特,N。;Demmel,J.,《避免双边Krylov子空间方法中的通信》,技术报告UCB/EECS-2011-93(2011),加利福尼亚大学:美国加州大学伯克利分校
[12] 亚历山德罗夫。;Ionescu,M.F。;Schauser,K.E。;Scheiman,C.,LogGP:将长消息合并到LogP模型中以进行并行计算,J.parallel Distrib.Comput。,44, 1, 71-79 (1997)
[13] Valiant,Leslie G.,并行计算的桥接模型,Commun。ACM,33,8,103-111(1990)
[14] 刘刚峰;王云兰;赵天海;顾建华;李东阳,mHLogGP:CPU/GPU异构计算集群的并行计算模型,(网络与并行计算,网络与并行计算机,计算机科学讲义(2012)),217-224
[17] de Sturler,E。;van der Vorst,H.,并行计算机上Krylov方法的通信成本降低,(高性能计算和网络(1994),Springer),190-195
[18] de Sturler,E。;van der Vorst,H.A.,减少GMRES(m)和CG中全局通信对并行分布式存储计算机的影响,应用。数字。数学。,18, 4, 441-459 (1995) ·Zbl 0842.65019号
[19] Meurant,G.,矢量计算机上的块预处理共轭梯度法,BIT,24,4,623-633(1984)·兹伯利0556.65023
[21] Meurant,G.,向量和并行超级计算机上的共轭梯度法,技术报告,技术报告CTAC-89(1989),布里斯班大学
[22] Dongarra,J。;Heroux,M.A.,《走向高性能计算系统排名的新指标》,Sandia Report,SAND2013-4744(2013)
[24] 顾同祥;左显玉;刘兴平;李培璐,一种适用于分布式并行计算的改进并行混合双共轭梯度法,J.Compute。申请。数学。,226, 1, 55-65 (2009) ·Zbl 1166.65327号
[25] 顾同祥;左显玉;张丽涛;张婉琴;盛志强,一种适用于分布式并行计算的改进双共轭残差算法,应用。数学。计算。,186, 2, 1243-1253 (2007) ·Zbl 1117.65047号
[26] 刘兴平;顾同祥;杭、徐登;Sheng,Zhi-Qiang,分布式并行环境中大型线性系统的QMRCGSTAB方法的并行版本,Appl。数学。计算。,172, 2, 744-752 (2006) ·Zbl 1088.65030号
[27] Yang,L.T.,大容量同步并行结构上大型稀疏线性系统的改进CGS方法,(第五届并行处理算法和结构国际会议论文集,2002(2002),IEEE),232-237
[28] Yang,L.T。;Brent,R.P.,《并行分布式存储体系结构上大型和稀疏非对称线性系统的改进BiCGSTAB方法》(Proceedings.Fifth International Conference on Algorithms and architectures for parallel Processing,2002(2002),IEEE),324-328
[29] Yang,T.R。;Lin,H.X.,大规模分布式存储计算机上的改进准最小残差法(High-Performance Computing and Networking(1997),Springer),389-399
[30] 左贤宇;顾同祥;Mo,Ze-Yao,适用于分布式并行计算的改进GPBi-CG算法,应用。数学。计算。,215, 12, 4101-4109 (2010) ·Zbl 1186.65041号
[31] Ghysels出版社。;Vanroose,W.,在预处理共轭梯度算法中隐藏全局同步延迟,并行计算。(2013),出版中·Zbl 1273.65050号
[32] Ghysels,M.P。;Ashby,T。;Meerbergen,K。;Vanroose,W.,在大规模并行机器上的GMRES算法中隐藏全局通信延迟,SIAM J.Sci。计算。,35、1、C48-C71(2013)·Zbl 1273.65050号
[33] 科里尼翁,T.P。;van Gijzen,M.B.,最小化IDR中的同步,Numer。线性代数应用。,18, 805-825 (2011) ·Zbl 1249.65066号
[34] Chronopoulos,A.T。;Gear,C.W.,对称线性系统的s步迭代法,J.Compute。申请。数学。,25, 2, 153-168 (1989) ·Zbl 0669.65021号
[35] Chronopoulos,A.T。;Gear,C.W.,《关于在具有内存层次结构的多处理机上高效实现预处理s步迭代方法》,并行计算。,11, 1, 37-53 (1989) ·Zbl 0679.65020号
[36] Chronopoulos,A.T。;Swanson,C.D.,非对称线性系统的并行迭代s步方法,并行计算。,22, 5, 623-641 (1996) ·Zbl 0873.65019号
[37] Chronopoulos,A.T。;Kucherov,A.B.,块s步Krylov迭代方法,数字。线性代数应用。,17, 3, 3-15 (2010) ·Zbl 1240.65107号
[38] Alvarez-Dios,J.A。;卡巴莱罗,J.C。;Casal,G.,梯度方法s步变体的推广,J.Compute。申请。数学。,236, 12, 2938-2953 (2012) ·Zbl 1237.65031号
[39] 顾同祥;刘兴平;莫泽尧;Chi,Xue-Bin,多搜索方向共轭梯度法,I.方法及其命题,国际计算机杂志。数学。,8111133-1143(2004年)·Zbl 1059.65027号
[40] 顾同祥;刘兴平;莫泽尧;池雪斌,多搜索方向共轭梯度法,II。理论和数值实验,国际计算杂志。数学。,81, 10, 1289-1307 (2004) ·Zbl 1067.65031号
[41] Fujino,Seiji,(GPBiCG(m,\ell)):BiCGSTAB和GPBiCG-方法的混合,具有效率和鲁棒性,应用。数字。数学。,41,1,107-117(2002),大型方程组迭代方法的发展和趋势——纪念Rüdiger Weiss(洛桑,2000)·Zbl 0993.65042号
[42] van der Vorst,H.A.,Bi-CGSTAB:非对称线性系统解的Bi-CG的一个快速且平滑收敛的变体,SIAM J.Sci。统计计算。,13631(1992年)·兹比尔0761.65023
[43] Gutknecht,M.H.,《复谱矩阵的BICGSTAB变体》,SIAM J.Sci。计算。,14, 5, 1020-1033 (1993) ·Zbl 0837.65031号
[44] Zhang,S.L.,GPBi-CG:基于Bi-CG求解非对称线性系统的广义乘积型方法,SIAM J.Sci。计算。,18, 537 (1997) ·Zbl 0872.65023号
[45] Gutknecht,M.H。;Strakos,Z.,Krylov空间解算器的两个三项和三个二项递归的精度,SIAM。《矩阵分析杂志》。申请。,22, 1, 213-229 (2000) ·Zbl 0976.65030号
[46] Sleijpen,G.L.G。;van der Vorst,H.A.,混合Bi-CG方法中的可靠更新残差,计算,56,2,141-163(1996)·Zbl 0842.65018号
[48] van de Geijn,R.A.,(使用PLAPACK:并行线性代数包。使用PLAPARK:平行线性代数包,科学与工程计算(1997),麻省理工学院出版社:麻省理学院出版社剑桥,MA)
[49] Higham,N.,《数值算法的准确性和稳定性》(1996),SIAM·Zbl 0847.65010号
[51] 卡斯塔尔多,A。;R.Whaley。;Chronopoulos,A.,《使用超块系列算法减少DOT产品中的浮点误差》,SIAM J.Sci。计算。,31, 2, 1156-1174 (2008) ·兹比尔1189.65076
[52] 德梅尔,J。;Hida,Y.,《精确有效的浮点求和》,SIAM J.Sci。计算。,25, 4, 1212-1248 (2003) ·Zbl 1061.65039号
[53] Ogita,T。;臀部,S。;Oishi,S.,《精确和和点积》,SIAM J.Sci。计算。,26, 6, 1955-1988 (2005) ·Zbl 1084.65041号
[54] 臀部,S。;Ogita,S。;Oishi,S.,《精确浮点求和第一部分:精确舍入》,SIAM J.Sci。计算。,31, 1, 189-224 (2008) ·Zbl 1185.65082号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。