跳到主要内容
10.1145/3307681.3325400acm会议文章/章节视图摘要出版物页面高压直流电会议记录会议集合
研究论文
公共访问

Parsl:Python中的通用并行编程

作者信息和声明
出版:2019年6月17日出版历史

摘要

越来越多的高级编程语言(如Python)被用于为用低级语言编写的库提供直观的接口,以及从各种组件组装应用程序。这种向编配而非实现的迁移,再加上对并行计算的日益增长的需求(例如,由于大数据和摩尔定律的终结),需要重新思考程序中如何表达并行性。在这里,我们介绍了Parsl,这是一个并行脚本库,它用简单、可伸缩和灵活的结构来增强Python的编码并行性。这些构造允许Parsl构造组件的动态依赖关系图,然后可以在一个或多个处理器上高效执行。Parsl是为可伸缩性而设计的,具有一组可扩展的执行器,这些执行器针对不同的用例进行定制,例如低延迟、高吞吐量或极端规模的执行。我们通过在Blue Waters超级计算机上的实验表明,Parsl执行器可以让Python脚本以最少5毫秒的开销执行组件,扩展到8000多个节点上的250000多名工作人员,每秒处理1200个以上的任务。Parsl的其他功能通过支持基础设施的弹性供应和扩展、容错执行和集成广域数据管理,简化了复合程序的构建和执行。我们表明,这些功能满足了生物学、宇宙学和材料科学等领域中多任务、交互式、在线和机器学习应用的需求。

工具书类

  1. 通用工作流语言规范,v1.0.2。https://www.commonwl。org/v1.0/。2019年4月24日访问。谷歌学者谷歌学者
  2. 计算数据分析工作流系统。https://s.apache.org/现有的工作流系统。2019年4月24日访问。谷歌学者谷歌学者
  3. 达克。http://docs.dask.org/en/latest/。访问日期:2019年4月24日。谷歌学者谷歌学者
  4. 路易吉。https://github.com/spotify/luigi。2019年4月24日访问。谷歌学者谷歌学者
  5. 泡菜。https://docs.python.org/3/library/pickle.html。2019年4月24日访问。谷歌学者谷歌学者
  6. 气流。https://airflow.apache.org/。2019年4月24日访问。谷歌学者谷歌学者
  7. 阿帕奇Hadoop。https://hadoop.apache.org/。2019年4月24日访问。谷歌学者谷歌学者
  8. 阿帕奇火花。https://spark.apache.org/。2019年4月24日访问。谷歌学者谷歌学者
  9. 已分发Dask。http://distributed.dask.org/en/latest/。2019年4月24日访问。谷歌学者谷歌学者
  10. IPython.平行。https://github.com/ipython/ipyparallel。2019年4月24日访问。谷歌学者谷歌学者
  11. 芝加哥大学计算研究中心。https://rcc。uchicago.edu/docs/using-midway/index.html。2019年4月24日访问。谷歌学者谷歌学者
  12. M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J.Dean、M.Devin、S.Ghemawat、G.Irving等人,2016年。TensorFlow:用于大规模机器学习的系统。在第12届USENIX操作系统设计与实现大会上。265--283.谷歌学者谷歌学者
  13. R.Anathantharishnan、K.Chard、I.Foster、M.Lidman、B.McCollam、S.Rosen和S.Tuecke。2016年,Globus Auth:一个研究身份和访问管理平台。在第16届国际电子科学大会上。203--212.谷歌学者谷歌学者
  14. T.阿姆斯特朗。2011.将任务并行性集成到Python编程语言中。硕士论文。芝加哥大学。谷歌学者谷歌学者
  15. T·G·阿姆斯特朗、Z·张、D·S·卡茨、M·王尔德和I·T·福斯特。2010.在超级计算机上调度多任务工作负载:处理后续任务。在IEEE网格和超级计算机(MTAGS)多任务计算研讨会上。1--10.谷歌学者谷歌学者
  16. Y.Babuji、K.Chard、I.Foster、D.S.Katz、M.Wilde、A.Woodard和J.Wozniak。2018.Parsl:Python中的可伸缩并行脚本。在第十届科学网关国际研讨会上。谷歌学者谷歌学者
  17. B.Blaiszik、K.Chard、J.Pruyne、R.Ananthakrishnan、S.Tuecke和I.Foster。2016.材料数据设施:推进材料科学研究的数据服务。JOM 68,8(2016),2045--2052。谷歌学者谷歌学者交叉引用交叉引用
  18. B.Bode、M.Butler、T.Dunning、T.Hoefler、W.Kramer、W.Gropp和W-m.Hwu。2013年,蓝水超级科学系统。当代高性能计算。查普曼和霍尔/CRC,339--366。谷歌学者谷歌学者
  19. K.M.Chandy和C.Kesselman。1993.组合C++:组合并行编程。用于并行计算的语言和编译器。施普林格,124--144。谷歌学者谷歌学者数字图书馆数字图书馆
  20. K.Chard、S.Tuecke和I.Foster。2014年,高效、安全地传输、同步和共享大数据。IEEE云计算1,3(2014),46-55。谷歌学者谷歌学者交叉引用交叉引用
  21. R.Chard、Z.Li、K.Chard、L.T.Ward、Y.N.Babuji、A.Woodard、S.Tuecke、B.Blaiszik、M.J.Franklin和I.T.Foster。2019.DLHub:为科学服务的模型和数据。在第33届IEEE国际并行和分布式处理研讨会上。谷歌学者谷歌学者
  22. R.Chard、R.Vescovi、M.Du、H.Li、K.Chard、S.Tuecke、N.Kasthuri和I.Foster。2018.高通量神经解剖学和触发动作编程:研究自动化的案例研究。在第一届国际自主基础设施工作中。用于科学。ACM,1:1--1:7。谷歌学者谷歌学者数字图书馆数字图书馆
  23. L.Dalcín、R.Paz和M.Storti。2005年。MPI for Python。J.并行和分布式计算。65, 9 (2005), 1108--1115.谷歌学者谷歌学者数字图书馆数字图书馆
  24. E.Deelman、K.Vahi、G.尤文、M.Rynge等人,2015年。Pegasus,一个用于科学自动化的工作流管理系统。未来发电公司。系统。46 (2015), 17--35.谷歌学者谷歌学者数字图书馆数字图书馆
  25. P.Di Tommaso、M.Chatzou、E.W.Floden、P.P.Barja、E.Palumbo和C.Notredame。2017.Nextflow支持可复制的计算工作流。《自然生物技术》35,4(2017),316。谷歌学者谷歌学者交叉引用交叉引用
  26. M.Dorier、J.M.Wozniak和R.Ross。2017.通过在MPI作业中启动MPI作业,支持HPC工作流中的任务级容错。在第12次支持大规模科学的工作流研讨会上。5:1--5:11.谷歌学者谷歌学者数字图书馆数字图书馆
  27. I.Foster、R.Olson和S.Tuecke。1992.生产性并行编程:PCN方法。科学规划1,1(1992),51--66。谷歌学者谷歌学者数字图书馆数字图书馆
  28. I.Foster和S.Taylor。1990.Strand:并行编程中的新概念。普伦蒂斯·霍尔(1990)。谷歌学者谷歌学者数字图书馆数字图书馆
  29. GFD-R-P.231 2016年。分布式资源管理应用程序API 2.2版(DRMAA)。建议。打开网格论坛。谷歌学者谷歌学者
  30. GFD-R-P.90 2013年。网格应用程序的简单API(SAGA)。规范。打开网格论坛。谷歌学者谷歌学者
  31. J.Goecks、A.Nekrutenko和J.Taylor。2010年,银河系:支持生命科学中无障碍、可复制和透明计算研究的综合方法。《基因组生物学》11,8(2010),R86。谷歌学者谷歌学者交叉引用交叉引用
  32. P.Hintjens。2013.ZeroMQ:针对多个应用程序的消息传递。奥莱利。谷歌学者谷歌学者
  33. A.Jain、S.P.Ong、W.Chen、B.Medasani、X.Qu等人,2015年。FireWorks:为高吞吐量应用程序设计的动态工作流系统。并发与计算:实践与经验27,17(2015),5037--5059。谷歌学者谷歌学者数字图书馆数字图书馆
  34. M.M.McKerns、L.Strand、T.Sullivan、A.Fang和M.A.Aivazis。2012.构建预测科学框架。arXiv预印arXiv:1202.1056(2012)。谷歌学者谷歌学者
  35. P.Moritz、R.Nishihara、S.Wang、A.Tumanov、R.Liaw、E.Liang、M.Elibol、Z.Yang、W.Paul等,2018年。Ray:新兴人工智能应用的分布式框架。在第13届USENIX操作系统设计与实现大会上。561--577.谷歌学者谷歌学者数字图书馆数字图书馆
  36. R.S.尼基尔。1993.平行语言Id概述(哈斯克尔的一种平行方言pH的基础)。技术报告。剑桥研究实验室数字设备公司。谷歌学者谷歌学者
  37. J.J.皮特。2017年,通过生殖系和体细胞基因组的大规模计算分析解读癌症的发展和进展。博士论文。芝加哥大学。谷歌学者谷歌学者
  38. E.Tejedor、Y.Becerra、G.Alomar、A.Queralt、R.M.Badia、J.Torres、T.Cortes和J.Labarta。2017.PyCOMPS:Python中的并行计算工作流。《国际高性能计算应用杂志》31,1(2017),66-82。谷歌学者谷歌学者数字图书馆数字图书馆
  39. M.Wilde、M.Hategan、J.Wozniak、B.Clifford、D.Katz和I.Foster。2011.Swift:一种分布式并行脚本语言。并行计算。37, 9 (2011), 633--652.谷歌学者谷歌学者数字图书馆数字图书馆

索引术语

  1. Parsl:Python中的通用并行编程

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        • 发布于

          封面图片ACM会议
          HPDC’19:第28届高性能并行和分布式计算国际研讨会论文集
          2019年6月
          278页
          国际标准图书编号:9781450366700
          内政部:10.1145/3307681

          版权©2019 ACM

          如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。向请求权限[电子邮件保护]

          出版商

          计算机协会

          美国纽约州纽约市

          出版历史

          • 出版:2019年6月17日

          权限

          请求有关此文章的权限。

          请求权限

          检查更新

          限定符

          • 研究论文

          接受率

          HPDC’19纸张接受率22属于106提交文件,21%总体验收率166属于966提交文件,17%

          即将召开的会议

          24年HPDC
          第33届高性能并行和分布式计算国际研讨会
          2024年6月3日至7日
          比萨,意大利

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用eReader在线查看。

        电子阅读器