跳到主要内容
10.1145/3642970.3655824acm会议文章/章节视图摘要出版物页面欧罗西斯会议记录会议集合
研究论文

SpeedyLoader:数据预处理和机器学习训练的高效流水线

出版:2024年4月22日出版历史

摘要

数据预处理包括样本大小调整、裁剪和过滤等任务,是机器学习(ML)工作流中的关键步骤。尽管预处理步骤在很大程度上被专注于优化训练算法的工作所忽略,但在实践中,许多工作负载的预处理和训练都是流水线的。像PyTorch这样流行的ML框架使用数据加载器将数据输入到模型训练中。如果预处理和训练之间的流水线没有仔细完成,可能会在GPU端造成大量等待时间。为了解决这个局限性,我们引入了SpeedyLoader,这是一个通过利用异步数据预处理和避免头线阻塞来重叠预处理和训练的系统。SpeedyLoader集成了专用的数据加载线程,这些线程根据预测的处理时间将预处理样本组织到队列中。同时,GPU从这些队列中获取样本,确保训练不受预处理完成的阻碍。与默认的PyTorch DataLoader相比,SpeedyLoader将训练时间减少了30%,GPU使用量增加了4.3倍,同时保持了91%的一致评估准确率。

工具书类

  1. 【未注明日期】。KiTS19挑战数据集。https://kits19.grand-challenge.org/data/。谷歌学者谷歌学者
  2. 【未注明日期】。内存保护器。PyPI公司。https://pypi.org/project/memory-profiler网站/谷歌学者谷歌学者
  3. 【未注明日期】。MLPerf培训基准套件V3.1结果。https://mlcommons.org/bequicks/training/。谷歌学者谷歌学者
  4. [未注明日期]。NumPy—使用Python进行科学计算的基本包。https://numpy.org/。谷歌学者谷歌学者
  5. [未注明日期]。Pandas:强大的Python数据分析工具包。https://pypi.org/project/pandas/。谷歌学者谷歌学者
  6. [未注明日期]。与苹果、特斯拉和Nutanix的合作者进行个人交流。谷歌学者谷歌学者
  7. [未注明日期]。Python文档-队列。https://docs.python.org/3/library/queue.html。谷歌学者谷歌学者
  8. 【未注明日期】。PyTorch 2.0。https://pytorch.org/。谷歌学者谷歌学者
  9. [未注明日期]。PyTorch教程。https://pytorch.org/tutorials/begineer/basics/data_tutorial.html。谷歌学者谷歌学者
  10. 【未注明日期】。Scikit学习-Python中的机器学习。https://scikit learn.org/stable/。谷歌学者谷歌学者
  11. 奥兹根切克、艾哈迈德·阿卜杜勒卡迪尔、索伦·萨连坎普、托马斯·布洛克斯和奥拉夫·隆伯格。2016.3D U-Net:从稀疏注释学习密集的体积分割。医学图像计算和计算机辅助干预-MICCAI 2016:第19届国际会议,希腊雅典,2016年10月17日至21日,会议记录,第二部分19。谷歌学者谷歌学者
  12. 塞莱斯汀·杜纳(Celestine Dünner)、托马斯·帕内尔(Thomas Parnell。2018年。Snap ML:机器学习的分层框架。神经信息处理系统进展(2018年)。谷歌学者谷歌学者
  13. 丹·格雷尔(Dan Graur)、达米安·艾蒙(Damien Aymon)、丹·克鲁斯(Dan Kluser)、丹古·阿尔布里奇(Tanguy Albrici)、钱德拉莫汉·A·塞克斯(Chandramohan A Thekkath)和安娜·克里莫维奇。2022.Cachew:机器学习输入数据处理服务。USENIX ATC 22会议记录。谷歌学者谷歌学者
  14. 乌迪·古普塔(Udit Gupta)、金英根(Young Geun Kim)、西尔维娅·李(Sylvia Lee)、谢霆锋(Jordan Tse)、辛·S·李(Xian-Hsin S.Lee),顾延伟(Gu-Yeon Wei)、大卫·布鲁克斯(David Brooks)和卡罗尔·吴珍(Carole-Jean Wu)。2022.追逐碳:计算的神秘环境足迹。IEEE Micro 4(2022)。谷歌学者谷歌学者
  15. 尼古拉斯·海勒(Nicholas Heller)、尼兰扬·萨提亚纳森(Niranjan Sathianathen)、阿文·卡拉帕(Arveen Kalapara)、爱德华·沃尔恰克(Edward Walczak)、基南·摩尔(Keenan Moore)、希瑟·卡鲁兹尼亚克(Heather Kaluzniak)、乔尔·罗森博格(Joel Rosenberg)、保罗·布莱克。kits19挑战性数据:300例肾脏肿瘤患者的临床背景、ct语义分割和手术结果。arXiv预印arXiv:1904.00445(2019)。谷歌学者谷歌学者
  16. Sotiris Kotsiantis、Dimitris Kanellopoulos和P.Pintelas。2006.监督学习的数据预处理。《国际计算机科学杂志》(2006)。谷歌学者谷歌学者
  17. S.Maetschke、R.Tennakoon、C.Vecchiola和R.Garnavi。2018.nuts-flow/ml:深度学习的数据预处理。谷歌学者谷歌学者
  18. Peter Mattson、Christine Cheng、Gregory Diamos、Cody Coleman、Paulius Micikevicius、David Patterson、Hanlin Tang、Gu-Yeon Wei、Peter Bailis、Victor Bittorf等人,2020年。MlPerf培训基准。机器学习与系统学报(2020年)。谷歌学者谷歌学者
  19. Mark Mazumder、Colby Banbury、Xiaozhe Yao、Bojan Karlaš、William Gaviria Rojas、Sudnya Diamos、Greg Diamos,Lynn He、Alicia Parrish、Hannah Rose Kirk等人,2022年。Dataperf:以数据为中心的人工智能开发基准。arXiv预打印arXiv:2207.10062(2022)。谷歌学者谷歌学者
  20. MLCommons。[未注明日期]。MLPerf Benchmarking Suite-图像分割的PyTorch实现。https://github.com/mlcommons/training/tree/master/image_segmentation/pytorch。谷歌学者谷歌学者
  21. 贾亚什雷·莫汉(Jayashree Mohan)、阿马尔·法尼什耶伊(Amar Phanishayee)、贾纳德汉·库尔卡尼(Janardhan Kulkarni)和维杰伊·奇丹巴拉姆(Vijay Chidambaram)。2022.展望多租户集群上DNN调度的GPU之外。USENIX OSDI’22会议记录。谷歌学者谷歌学者
  22. 德里克·戈登·穆雷(Derek Gordon Murray)、杰里·西姆萨(JiríSimsa)、安娜·克里莫维奇(Ana Klimovic)和伊霍尔·因迪克(Ihor Indyk)。2021.tf.data:机器学习数据处理框架。VLDB捐赠(2021)。谷歌学者谷歌学者
  23. G.Thippa Reddy、M.Praveen Kumar Reddy、Kuruva Lakshmanna、Rajesh Kaluri、Dharmendra Singh Rajput、Gautam Srivastava和Thar Baker。2020年,大数据降维技术分析。IEEE接入(2020)。谷歌学者谷歌学者
  24. Purandare Sanket、Wasay Abdul、Idreos Stratos和Jain Animesh。2023.亩-二:3倍更快的多模型训练,具有编配和记忆优化功能。MLSys’23会议记录。谷歌学者谷歌学者
  25. Foteini Strati、Xianzhe Ma和Ana Klimovic。2024.Orion:用于ML应用程序的干扰软件、细粒度GPU共享。《欧洲系统24年会议记录》。谷歌学者谷歌学者数字图书馆数字图书馆
  26. 吴春凤(Chun-Feng Wu)、卡罗尔·让·吴(Carole-Jean Wu),魏谷妍(Gu-Yeon Wei)和大卫·布鲁克斯(David Brooks)。2022.一种联合管理中间件,用于提高带有SSD的深度推荐系统的培训性能。第59届ACM/IEEE设计自动化会议论文集。谷歌学者谷歌学者数字图书馆数字图书馆
  27. Mark Zhao、Niket Agarwal、Aarti Basant、Buéra Gedik、Satadru Pan、Mustafa Ozdal、Rakesh Komuravelli、Jerry Pan、Tinshu Bao、Haowei Lu、Sundaram Narayanan、Jack Langman、Kevin Wilfong、Harsha Rastogi、Carole-Jean Wu、Christos Kozyrakis和Parik Pol。2022.了解大规模深度推荐模型培训的数据存储和摄入:工业产品。第49届计算机体系结构国际研讨会论文集。谷歌学者谷歌学者数字图书馆数字图书馆
  28. Mark Zhao、Druv Choudhary、Devashish Tyagi、Ajay Somani、Max Kaplan、Sung-Han Lin、Sarunya Pumma、Jongsoo Park、Aarti Basant、Niket Agarwal、Carole-Jean Wu和Christos Kozyrakis。2023.RecD:端到端深度学习推荐模型培训基础架构的重复数据消除。谷歌学者谷歌学者

索引术语

  1. SpeedyLoader:数据预处理和机器学习训练的高效流水线

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        • 发布于

          封面图片ACM会议
          EuroMLSys’24:第四届机器学习和系统研讨会论文集
          2024年4月
          218页
          国际标准图书编号:9798400705410
          内政部:10.1145/3642970

          版权所有©2024 ACM

          如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

          出版商

          计算机协会

          美国纽约州纽约市

          出版历史

          • 出版:2024年4月22日

          权限

          请求有关此文章的权限。

          请求权限

          检查更新

          限定符

          • 研究论文
          • 研究
          • 推荐有限公司

          接受率

          总体验收率18属于26提交文件,69%

          即将召开的会议

          25年欧洲系统
          第二十届欧洲计算机系统会议
          2025年3月30日-4月3日
          鹿特丹,荷兰
        • 文章指标

          • 下载次数(过去12个月)103
          • 下载次数(最近6周)92

          其他指标

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用eReader联机查看。

        电子阅读器