{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期部分”：[[2024,4,4]]，“日期时间”：“2024-04-04T01:00:43Z”，“时间戳”：1712192443790}，“参考-计数”：46，“发布者”：“IEEE”，“许可证”：[{“开始”:{“日期部分“：[2024,3,2]，“日期-时间”：”2024-03-02T00:00:00Z“，”timestamp“：17093376000000}，”content-version“：”stm-asf“，“delay-in-days”：0，“URL”：“https:\/\/doi.org\/10.15223\/policy-029”}，{“start”：{“date-parts”：[[2024,3,2]，“date-time”：“2024-03-02T00:00:00Z”，“timestamp”：1709337600000}，“content-version”：“stm-asf”，“delay-in-days域“：{”域“：[]，”交叉标记限制“：false}，”短容器时间“：[[]，“published-print”：{“date-parts”：[[2024,3,2]]}，“DOI”：“10.1109\/hpca57654.2024.00067”，“type”：“proceedings-article”，“created”：{“date-ports”：[2024,4,2]，“date-time”：“2024-04-02T18:36:37Z”，“timestamp”：1712082997000}，”source“Crossref”，“is-referenced-by-count”：0，“title”：[“Tessel：通过灵活的时间表搜索促进大型DNN模型的分布式执行”]，“prefix”：“10.1109”，“author”：[{“given”：“Zhiqi”，“family”：“Lin”，《sequence》：“first”，“affiliation”：[}“name”：“China University of Science and Technology”}]}，{“给定”：“Youshan”，“家族”：“Miao”，”sequence“：“additional”，“feliation”:[{”name“Microsoft Research”}]}，{“given”：“Guanbin”，“family”：“Xu”，“sequence”：“additional”，“affiliation”：[{“name”：“中国科技大学”}]}，{”given“：”Cheng“，”family“：”Li“，”sequence“：”additional：“Microsoft Research”}]}，{“given”：“Saeed”，“family”：“Maleki”，“sequence”：“additional”，“affiliation”：[{“name”：“University of Science and Technology”}]neneneep，{”given“：”Fan“，”family“：”Yang“，”sequence“：”additional：“publisher”，“DOI”：“10.1145\/212094.212131”}，{“key”：“ref2”，“DOI-asserted-by”：“publicher”，“DOI”：”10.1145\/3492321.3519584“}，}“key:”ref3“，”article-title“：”语言模型是少数热门学习者“，”author“：”Brown“，”year“2020”，“journal-title”：“Advances in neural information processing systems”}、{“key”：”ref4“，”article-title“：“训练具有次线性存储成本的深度网”，“author”：“Chen”，“year”：“2016”，“journal-title”：“arXiv-print”}，{“key”：“ref5”，“doi-asserted-by”：“publisher”，“doi”：“10.1007\/BF02577873”}：“信息知识系统管理”}，{“key”：“ref7”，“doi-asserted-by”：“publisher”，“doi”：“10.1007\/978-3-540-78800-3_24”}：“ref10”，“首页”：“103”，“文章标题”：“Gpipe：使用流水线并行高效训练巨型神经网络”，“author”：“Huang”，“year”：“2019”，“journal-title”：“Advances in neural Information Processing Systems”}，{“key”：“ref11”，“doi-asserted-by”：“publisher”，”doi“：“10.1109\/SC41405.2020.00049”}：“超越深度神经网络的数据和模型并行性”，“author”：“Jia”，“year”：“2019”，“journal-title”：“SysML 2019”}，{“key”：“ref13”，“doi-asserted-by”：“publisher”，“doi”：“10.1145\/368996.369025”}：“国际机器学习会议”，“作者”：“Kim”，“年份”：“2021”｝，｛“key”：“ref15”，“doi断言”：“publisher”，“doi”：“10.1145\/2086696.2086711”｝，｛“key”：“ref16”，“文章标题”：“减少大型变压器模型中的激活重新计算”，“卷标题”：“机器学习与系统论文集”，“作者”：“Korthikanti”，“年份”：“2023”｝，｛“key”：“ref17”，“doi asserted by”：“publisher”，“doi”：“10.1145\/3548817.3476145”｝，｛“key”：“ref18”，“文章标题”：“Superscaler:通过统一抽象支持灵活的dnn并行化”，“author”：“Lin”，“year”：“2023”，“journal title”：“arXiv预印本”｝，｛“key”：“ref19”，“doi asserted by”：“publisher”，“doi”：“10.1109\/CVPR52688.20120170”｝，｛“key”：“ref20”，“doi-asserted-by”：“publisher”，“doi”：“10.1145\/3341301.3359646”}，{“key”：“ref21”，“doi-asserte-by”：“publisher”，“DI:”10.1145\/3458817.3476209“}，}“key:”ref22“，”volume-title“：”GPT-4简介“，”年份“2023”}、{“key”：”ref23“，”首页“：”307“，”“article-title”：“Hetpipe：启用大型dnn培训（奇想）通过集成流水线模型并行性和数据并行性实现异构gpu集群”，“卷-时间”：“2020 USENIX年度技术会议（USENIXATC 20）”，“作者”：“公园”，“年份”：“2020”}，{“关键”：“ref24”，“卷标”：“PyTorch团队”，“年”：“2042”}通过生成性预训练提高语言理解能力“，”author“：”Radford“，”year“：”2018“，”journal-title“：”arXiv-print“}，”key“：”ref26“，”doi-asserted-by“：”publisher“，”doi“：”10.1109“，SC41405.2020.00024“}”，“key”：“ref27”，“doi-assert-by”：“publisher”，”doi:“10.1145”，：“publisher”，“doi”：“10.1145\/143095.143141“}，{”key“：”ref29“，”first page“：“551”，”article-title“：”Zero-offload：“十亿级模型训练民主化”，“volume-title”：“2021 USENIX年度技术会议（USENIX-ATC 21）”，“author”：“Ren”，“year”：“2020”}，“key”：“ref30”，“article-title”Megatron-Im：使用gpu模型并行性训练数十亿参数语言模型”，“author”：“Shoeybi”，“year”：“2019”，“journal-title”：“arXiv预打印”}，{“key”：“ref31”，“doi-asserted-by”：“publisher”，“doi”：“10.1109\/CVPR52688.2022.01519”}“文章标题”：“Piper:Mulplanner for dnn parallelization”，“author”：“Tarnawski”，“year”：“2021”，“journal-title”：“Advances in Neural Information Processing Systems”}，{“key”：“ref34”，“volume-title“：”Distributed Data Parallelism“，”author“：”Team“，”year“：”2022注意你所需要的一切”，“author”：“Vaswani”，“year”：“2017”，“journal-title”：“Advances in neural information processing systems”}，{“key”：“ref37”，“article-title“：“Helix fold:An efficient implementation of alphafold2 using paddle”，“author”:“Wang”，“年份”：“2022”，“日记标题”：“arXiv预印本”}、{“密钥”：“ref38”，“doi-asserted-by”：“publisher”，“doi”：“10.1145\/3302424.3303953“}，{“key”：“ref39”，“article-title”：“Simvlm：简单的视觉语言模型，监管薄弱”，“author”：“Wang”，“year”：“2021”，“journal-title“：“arXiv预印本”}，“key“：”ref40“，”doi-asserted-by“：”publisher“，”doi“：”10.1007\/3-540-36478-1_17“}”，{”key：“ref41”，“volume-titleQoS的技术、商业和监管挑战：互联网服务模型视角”，“作者”：“Xiao”，“年份”：“2008”}，{“key”：“ref42”，“article-title”：“Gspmd:ml计算图的通用和可扩展并行化”，“作家”：“徐”，“年”：“2021”，“日志标题”：“arXiv预印本”}mt5：一个大规模的多语言预训练文本到文本转换器，“author”：“Xue”，“year”：“2020”，“journal-title”：“arXiv-print”}，{“key”：“ref44”，“doi-asserted-by”：“publisher”，“doi”：“10.18653\/v1\/2021.emnlp-main.257”}分布式深度学习的并行性”，“卷标题”：“第16届USENIX操作系统设计与实现研讨会（OSDI 22）”，“作者”：“Zheng”，“年份”：“2022”}，{“key”：“ref46”，“文章标题”：“关于优化模型并行性的通信”，“卷标题”：“机器学习与系统论文集”，“作者”：“Zhuang”，“年份”：“2023“}”，“事件”：{“name”：“2024 IEEE高性能计算机体系结构（HPCA）国际研讨会”，“location”：“Edinburgh，United Kingdom”，“start”：{-“date-parts”：[2024,3,2]}，“end”：{--“date-parts”：[[2024,3,6]}，”container-title“：[”2024 IEEE-高性能计算机结构（HPCA）国际研讨会“]，“original-title”：[]，“链接“：[{“URL”：“http://\/xplorestaging.ieee.org\/ielx7\/10476359\/1047699.pdf？arnumber=10476399”，“内容类型”：“未指定”，“content-version”：“vor”，“intended-application”：“similarity-checking”}]，“存放”：{“date-parts”：[2024,4,3]]，“日期时间”：“2024-04-03T05:36:23Z”，“时间戳”：1712122583000}，“score”：1，“resource”：{“primary”：{“URL”：https:\/\/ieeexplore.iee.org\/document\/10476399\/“}}，”副标题“：[]，”短标题“：[]，”已发布“：{”日期部分“：[2024,3,2]}，“引用计数”：46，“URL”：“http://\/dx.doi.org\/10.109\/hpca57654.2024.00067”，“关系”：{}，‘主题’：[]、‘已发布’：{“日期部分”：[2024，3,2]]}}}