×

帕塞尔

swMATH ID: 28682
软件作者: 亚杜·巴布吉、安娜·伍德德、李卓昭、丹尼尔·卡茨、本·克利福德、罗汉·库马尔、卢卡斯·拉金斯基、瑞安·查德、贾斯汀·沃兹尼亚克、伊恩·福斯特、迈克尔·王尔德、凯尔·查德
描述: Parsl:Python中的通用并行编程。越来越多的高级编程语言(如Python)被用于为用低级语言编写的库提供直观的接口,以及从各种组件组装应用程序。这种向编配而非实现的迁移,再加上对并行计算的日益增长的需求(例如,由于大数据和摩尔定律的终结),需要重新思考程序中如何表达并行性。在这里,我们介绍了Parsl,这是一个并行脚本库,它用简单、可伸缩和灵活的结构来增强Python的编码并行性。这些构造允许Parsl构造组件的动态依赖关系图,然后可以在一个或多个处理器上高效执行。Parsl是为可伸缩性而设计的,具有一组可扩展的执行器,这些执行器针对不同的用例进行定制,例如低延迟、高吞吐量或极端规模的执行。我们通过在Blue Waters超级计算机上的实验表明,Parsl执行器可以让Python脚本以最少5毫秒的开销执行组件,可以跨8000多个节点扩展到超过25万个工人,每秒处理1200个以上的任务。Parsl的其他功能通过支持基础设施的弹性供应和扩展、容错执行和集成广域数据管理,简化了复合程序的构建和执行。我们表明,这些功能满足了生物学、宇宙学和材料科学等领域中多任务、交互式、在线和机器学习应用的需求。
主页: https://arxiv.org/abs/1905.02158
源代码:  https://github.com/Parsl/Parsl
依赖项: 蟒蛇
关键词: 并行编程;集群计算;arXiv_cs.DC公司;编程语言;arXiv_cs.PL公司;蟒蛇
相关软件: 蟒蛇;达克;凯拉斯;PyCOMPS公司;零MQ;TensorFlow公司;DLHub(DLHub);芹菜;ImageNet公司;;霍姆皮;NDL公司;PyTorch公司;侵权行为;AFLOW-ML公司;库贝弗洛;铺层工人;脓原;朱庇特;基波伊
引用于: 0出版物

标准条款

1出版物描述软件 年份
Parsl:Python中的通用并行编程
亚杜·巴布吉、安娜·伍德德、李卓昭、丹尼尔·卡茨、本·克利福德、罗汉·库马尔、卢卡斯·拉金斯基、瑞安·查德、贾斯汀·沃兹尼亚克、伊恩·福斯特、迈克尔·王尔德、凯尔·查德
2019