×

集群中MPI-IO操作的拓扑感知策略。 (英语) Zbl 1460.90214号

摘要:本文介绍了拓扑感知的两阶段I/O(TATP),它优化了ROMIO中最流行的MPI-IO集体实现。为了改进文件访问期间的跃点字节度量,拓扑感知的两阶段I/O使用线性分配问题(LAP)来寻找文件域到聚合器的最佳分配,这是大多数两阶段I/O实现中没有考虑的一个方面。分布基于每个进程存储的本地数据,其主要目的是减少I/O集合操作的总跃点字节数。因此,可以改进全局执行时间。在大多数考虑的场景中,与最初的两阶段I/O实现相比,具有拓扑意识的两阶段I/O获得了重要改进。

MSC公司:

90 C90 数学规划的应用
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Buyya,R。;科尔特斯,T。;Jin,H.,mpiio并行i/o接口概述,IPPS’95并行和分布式系统输入/输出研讨会论文集,IEEE·doi:10.1109/9780470544839
[2] Sudheer,C.D。;Srinivasan,A.,有效拓扑感知映射的跳字节度量优化,高性能计算国际会议(2012),IEEE
[3] Bhatele,A。;Chung,I。;Kale,L.V.,结构化通信图到网状互连的自动映射,2010年
[4] Schmuck,F.B。;Haskin,R.L.,Gpfs:大型计算集群的共享磁盘文件系统,FAST’02第一届USENIX文件和存储技术会议论文集·doi:10.1109/CMPCON.1996.501773
[5] Schwan,P.,Lustre:为1000节点集群构建文件系统,2003年Linux研讨会论文集
[6] 查拉维,M。;Chandok,S。;Gabriel,E.,mpi i/o中集体写入算法的性能评估,国际计算科学会议论文集
[7] 伊莎拉,F。;巴拉普拉卡什,P。;Wild,S.M。;金佩,D。;拉瑟姆,R。;罗斯,R。;Hovland,P.,《使用分析和机器学习模型进行集体I/O调整》,Ieee/rsj智能机器人和系统国际会议论文集·doi:10.1109/CLUSTER.2015.29
[8] Venkatesan,V。;阿南德·R。;Subhlok,J。;Gabriel,E.,集体I/O操作的优化过程布局,欧洲Mpi用户小组会议记录·doi:10.1145/2488551.24885567
[9] J.M.D.罗萨里奥。;Bordawekar,R。;Choudhary,A.,《通过两阶段运行时访问策略改进并行I/O》,ACM(1993)·数字对象标识代码:10.1145/165660.165667
[10] Thakur,R。;格罗普,W。;Lusk,E.,《使用MPI派生数据类型提高I/O性能的案例》,1998年ACM/IEEE超级计算会议论文集,SC'98·doi:10.1109/SC.1998.10006
[11] 塔库尔,R。;格罗普,W。;Lusk,E.,优化MPI-IO中的非连续访问,并行计算,28,1,83-105(2002)·Zbl 0984.68081号 ·doi:10.1016/S0167-8191(01)00129-6
[12] Y.Tsujita。;Muguruma,H。;吉永,K。;Hori,A。;Namiki,M。;Ishikawa,Y.,《使用流水线两阶段i/o改进集体i/o性能》,2012年高性能计算研讨会论文集
[13] Y.Tsujita。;吉田佳彦(Yoshinaga,K.)。;Hori,A。;佐藤,M。;Namiki,M。;Ishikawa,Y.,《多线程两阶段I/O:提高光泽文件系统上的集体MPI-IO性能》,《欧洲微计算机并行、分布式和基于网络的处理国际会议论文集》
[14] 刘伟。;格恩特,M。;Gong,B.,《使用潜望镜调整框架的基于模型的MPI-IO调整》(2016),John Wiley and Sons Ltd·doi:10.1002/cpe.3603
[15] Filgueira,R。;辛格,D.E。;Pichel,J.C。;伊莎拉,F。;Carretero,J.,《两阶段集合的数据位置感知策略》,《计算科学高性能计算学报》,2008年·doi:10.1007/978-3-540-92859-114
[16] Bui,H。;Leigh,J。;Jungy,E。;维什瓦纳西,V。;Papka,M.E.,改善Blue Gene/Q超级计算机上稀疏数据模式的数据移动性能,并行处理研讨会国际会议论文集·doi:10.1109/ICPPW.2014.47
[17] 维什瓦纳,V。;赫雷尔德,M。;莫罗佐夫,V。;Papka,M.E.,Blue Gene/P超级计算系统上用于I/O加速的拓扑感知数据移动和分段,《高性能计算、网络、存储和分析学报》
[18] Tessier,F。;维什瓦纳,V。;Jeannot,E.,TAPIOCA:大型超级计算机上优化拓扑感知数据聚合的I/O库,IEEE集群计算国际会议论文集
[19] keng Liao,W。;Choudhary,A.,基于底层并行文件系统锁定协议的集体I/O动态适应文件域分区方法,ACM/IEEE超级计算会议论文集·doi:10.1109/SC.2008.5222722
[20] Broquedis,F。;克莱特·奥尔特加,J。;Moreaud,S。;Furmento,N。;高格林,B。;Mercier,G。;Thibault,S。;Namyst,R.,Hwloc:一种用于管理HPC应用程序中硬件亲和力的通用框架,第18届欧洲微计算机并行、分布式和基于网络的处理会议论文集(PDP’10)·doi:10.1109/pdp.2010.67
[21] Bermúdez,A。;卡萨多·R。;奎尔斯,F.J。;平克斯顿,T.M。;Duato,J.,《InfiniBand网络子网管理机制的评估》,《2003年并行处理国际会议论文集》,ICPP 2003
[22] Blackman,S.S.,雷达应用的多目标跟踪,Dedham Ma Artech House Inc P,1204-205(1986)
[23] Jonker,R。;Volgenant,A.,密集和稀疏线性分配问题的最短增广路径算法,计算,38,4,325-340(1987)·Zbl 0607.90056号 ·doi:10.1007/BF02278710
[24] 卡帕内托,G。;Martello,S。;Toth,P.,分配问题的算法和代码,运筹学年鉴,13,1-4,193-223(1988)·doi:10.1007/BF02288323
[25] Wong,P。;der Wijngaart,R.F.V.,NAS并行基准测试I/O版本2.4,2003
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。