火炬管 swMATH ID: 39467 软件作者： Chiheon Kim、Heungsub Lee、Myungryong Jeong、Woonhyuk Baek、Boogeon Yoon、Ildoo Kim、Sungbin Lim、Sungwoong Kim 描述： 火炬管：训练巨型模型的空中管道并行性。我们在PyTorch中设计并实现了一个现成的库，用于使用GPipe提出的检查点执行微分支管道并行（Huang et al.，2019）。特别是，我们开发了一组设计组件，以在PyTorch的定义运行和急切执行环境中实现管道并行梯度计算。我们表明，在这种环境中，每个组件都是充分利用管道并行性所必需的，并通过将其应用于各种网络体系结构（包括AmoebaNet-D和U-Net）来证明库的效率。我们的图书馆位于https://github.com/kakaobrain/torchgpipe网站 主页： https://torchgpipe.readthedocs.io/en/stable/ 源代码： https://github.com/kakaobrain/torchgpipe 相关软件： ParaCrawl公司;github;彗星;TensorFlow公司;欧罗巴;CCNet公司;网格张力流;BLEURT公司;GShard公司;G管道;M2M-100型;指数NLP;PyThaiNLP公司;BLEU公司;句子片段;Megatron-LM公司;GNMT公司;张紧器2传感器;亚当;摩西 引用于： 1文件 全部的 前5名16位作者引用 1 迈克尔·奥利 1 曼迪普·贝恩斯 1 施鲁蒂·博萨莱 1 伯奇，汤姆 1 奥努尔·塞勒比 1 维什拉夫·乔杜里 1 谢尔盖·埃杜诺夫 1 艾哈迈德·埃尔·基什基 1 粉丝，Angela 1 纳曼·戈亚尔 1 悉达哈·戈亚尔 1 阿尔芒·朱林 1 维塔利·利普钦斯基 1 马志毅 1 霍尔格·施温克 1 纪尧姆·温泽克 连载1篇 1 机器学习研究杂志（JMLR） 在1个字段中引用 1 计算机科学（68至XX） 按年份列出的引文