流水线模型并行性：复杂性结果和内存注意事项-存档ouverte HAL Accéder directment au contenu公司
通信Dans Un Congrès Anneée:2021年

流水线模型并行性：复杂性结果和内存考虑

Résumé

深度神经网络的训练阶段已经成为计算资源使用的重要来源，由此产生的计算量使得在并行架构上高效执行变得至关重要。数据并行是最广泛使用的方法，但它需要在所有处理器上复制网络权重，并执行网络权重的集体通信。在这种情况下，模型并行是一种很有吸引力的替代方案，其中网络的不同层分布在计算处理器上。事实上，预计它可以更好地分配权重（以处理内存问题），并且它消除了大规模集体通信的需要，因为只通信前向激活。然而，为了提高效率，它必须与流水线方法相结合，这反过来会导致新的内存开销。在本文中，我们的目标是将流水线模型并行性形式化为一个调度问题，确定其复杂性，并分析在实际解决方案（如Pipedream）中通常执行的假设的后果。

与葡萄园

Calcul parallellèle，distribuéet partagé[cs.DC] 神经元研究[cs.NE]
菲奇尔校长
小品小品
纸张RR.pdf（528.78 Ko） 特勒充电器
起源：菲奇尔斯制片人par l’（les）auteur（s）

阿莱娜·希洛娃 : Connectez-vous浇注接触器le contributer

https://inria.hal.science/hal-02968802

Soumis le:jeudi 18 février 2021-15:29:54

Dernière修改le:mercredi 20 mars 2024-17:52:16

Télé充电器倒可视化

日期和版本

哈尔-02968802， 版本1 (16-10-2020)
哈尔-02968802， 版本2 (16-10-2020)
哈尔-02968802， 版本3 (18-02-2021)

身份证明人

  • HAL Id： hal-02968802，版本3

Citer公司

奥利维尔·博蒙特（Olivier Beaumont）、莱昂内尔·伊劳德·杜布瓦（Lionel Eyraud-Dubois）、阿莱娜·希洛娃（Alena Shilova）。流水线模型并行性：复杂性结果和内存注意事项。欧罗巴2021，2021年8月，葡萄牙里斯本。⟨hal-02968802v3⟩

出口商

BibTeX公司 XML-TEI公司 都柏林核心元数据集 DC条款 尾注 数据引用

收藏

中国科学院 印度 INRIA2公司 澳大利亚国家铁路公司
345 磋商
449 交易费用

合作伙伴

Gmail（Gmail） 脸谱网 X（X） 领英 更多