Parsl:Python中的通用并行编程

@第{巴布吉2019ParslPP条，title={Parsl:Python中的普适并行编程}，author={Y.Babuji、Anna Woodard、Zhouzhao Li、Daniel S.Katz、Ben Clifford、Rohan Kumar、Lukasz Lacinski、Ryan Chard、Justin M.Wozniak、Ian T Foster、Michael Wilde和Kyle Chard}，journal={第28届高性能并行和分布式计算国际研讨会论文集}，年份={2019}，网址={https://api.semanticscholar.org/CorpusID:146121201}}
Parsl是一个并行脚本库，它为Python增加了简单、可伸缩和灵活的结构，用于编码并行性，以满足生物学、宇宙学和材料科学等领域中的多任务、交互式、在线和机器学习应用程序的需要。
ACM上的视图
[PDF]语义阅读器
181引文
极具影响力的引文
7
背景引文
58
方法引文
52
结果引文
1

本文图表

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中找到的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

181引文

用Parsl在Python中进行可扩展并行编程

Parsl通过注释可以异步和并行执行的函数，使开发人员可以直接在Python中实现并行，并将分析从笔记本电脑扩展到超级计算机或分布式系统上的数千个节点。

Parla：一个用于异构体系结构的Python编排系统

Parla是一个异构的基于任务的编程框架，它完全支持Python的科学编程堆栈，可以在提高开发易用性的同时，实现与手动优化代码相比具有竞争力的性能。

扩展摘要：用Parsl进行生产性并行编程

Parsl是一个用于Python的并行编程库，其目的是便于在程序中指定并行性，并在任意并行和分布式计算上实现并行性…

扩展摘要

Parsl是一个用于Python的并行编程库，其目的是便于在程序中指定并行性，并在任意并行和分布式计算上实现并行性…

最大化HPC Python工作流执行的数据实用程序

Parsl（一个Python-native并行编程库）能够向TaskVine表达高级数据需求，然后TaskVine在运行时执行高效的数据分发，与从共享文件系统进行按需分页的典型方法相比，性能提高了1.48倍。

torcopy：支持Python中的任务并行

通过代码生成实现紧密耦合模型任务级并行性的自动化和扩展

对Dask和Parsl进行了增强，以应对任务级并行性挑战，并从简单的应用程序描述中为这些系统生成优化的输入，并能够依靠彻底的图分析和自动代码生成快速设计可扩展的任务并行多尺度应用程序。

大型系统中的懒惰Python依赖管理

实验表明，ProxyImports显著减少了跨HPC系统导入大型模块的平均时间，并证明此方法可以轻松用于将用户包分发到云资源。

用于大规模Python应用程序中细粒度管理的轻量级函数监视器

这项工作回顾了大规模运行本机Python函数所涉及的挑战，并介绍了动态确定最小依赖集和组装轻量级函数监视器（LFM）的技术，该监视器捕获软件环境并以单个函数的粒度管理资源。

PONCHO:分布式和无服务器Python应用程序的动态包合成

越来越多的分布式应用程序通过跨分布式系统的节点调度函数调用来操作。为了正确操作…
...

33参考文献

Parsl:Python中的可伸缩并行脚本

Parsl（Parallel Scripting Library）是一个用于并行编程和执行面向数据的工作流的Python库，它解决了复杂的应用程序和数据编排和管理问题，以及针对特定执行环境的定制问题。

PyCOMPS:Python中的并行计算工作流

本文介绍了PyCOMPS，这是一个促进Python中并行计算工作流开发的框架，并展示了如何在大数据存储体系结构之上构建此编程模型，其中存储在后端的数据以持久对象的形式从应用程序中抽象和访问。

将任务并行性集成到巨蟒编程语言中

本文提出并论证了将任务并行协调语言PyDFlow嵌入通用脚本语言Python中的可行性，并给出了表示与Pythone语言集成良好的并行或分布式计算的自然语法和语义，并且允许应用来自功能语言文献的执行技术。

Swift：一种分布式并行脚本语言

并行语言Id概述（pH的基础，Haskell的一种并行方言）

本文概述了Id及其实现，重点介绍了它的新特性和特性，并将它与一般的并行语言联系起来，也与其他函数语言联系起来。

通过在MPI作业中启动MPI作业，支持HPC工作流中的任务级容错

本文提倡使用一个新的MPI_Comm_launch函数作为系统（3）调用的并行对等项，并说明该功能如何在集成仿真和HPC工作流中提供更好的灵活性和容错性。

在超级计算机上调度多任务工作负载：处理后续任务

本文提出并测试了两种策略，以在阿贡国家实验室Blue Gene/P Intrepid的分配策略下改善利用率和解决时间之间的权衡，按照从最长到最短的顺序安排任务，并在利用率低于某个阈值时缩小分配。

生产性并行编程：PCN方法

我们描述了PCN编程系统，重点介绍了那些旨在提高科学家和工程师使用并行超级计算机的生产力的功能。这些功能包括一个简单的…

Pegasus，一个用于科学自动化的工作流管理系统

用于Python的MPI