欧芹

Parsl:Python中的普及并行编程。高级编程语言(如Python)越来越多地被用于为用低级语言编写的库提供直观的接口,并用于组装来自不同组件的应用程序。这种向编排而非实现的迁移,再加上对并行计算的日益增长的需求(例如,由于大数据和摩尔定律的终结),需要重新思考并行性在程序中的表达方式。在这里,我们介绍Parsl,一个并行脚本库,它用简单、可伸缩和灵活的结构来扩展Python,用于编码并行性。这些构造允许Parsl构造组件的动态依赖关系图,然后可以在一个或多个处理器上高效地执行。Parsl是为可伸缩性而设计的,它具有一组可扩展的执行器,可根据不同的用例进行定制,例如低延迟、高吞吐量或极端规模的执行。我们通过在Blue Waters超级计算机上的实验表明,Parsl执行器可以让Python脚本以5毫秒的开销执行组件,在8000多个节点上扩展到超过25万个工作人员,每秒处理1200个任务。其他Parsl特性通过支持基础设施的弹性供应和扩展、容错执行和集成的广域数据管理,简化了复合程序的构建和执行。我们表明,这些能力满足了许多任务、交互式、在线和机器学习应用的需要,这些应用领域包括生物学、宇宙学和材料科学。