跳到主要内容
10.1145/3589335.3651528acm会议文章/章节视图摘要出版物页面网址:www会议记录会议集合
短纸
免费访问
可用工件/v1.1

iSpLib:一个使用自动调整稀疏运算加速图形神经网络的库

出版:2024年5月13日出版历史

摘要

图神经网络(GNN)训练和推理中的核心计算通常映射到稀疏矩阵运算,例如稀疏密集矩阵乘法(SpMM)。这些稀疏操作很难通过手动调整进行优化,因为它们的性能在很大程度上取决于输入图、GNN模型和计算平台的稀疏性。为了应对这一挑战,我们提出了iSpLib,这是一个基于PyTorch的C++库,配备了自动调整的稀疏操作。iSpLib通过支持缓存的反向传播(backpropagation)加速了GNN培训,该反向传播将中间矩阵存储在本地缓存中。该库提供了一个用户友好的Python插件,使用户可以利用我们的优化PyTorch操作,即用即用,只需两行额外代码即可实现任何现有的基于线性代数的流行GNN(图形卷积网络、图形SAGE、图形推理网络等)的PyTorch实现。我们证明,与CPU上等效的PyTorch 2.1.0和PyTorch Geometric 2.4.0实现相比,iSpLib的总体训练速度提高了27倍。我们的图书馆在\hrefhttps://github.com/HipGraph/iSpLib https://github.com/HipGraph/iSpLib网站\脚注\hrefhttps://doi.org/10.5281/zenodo.10806511 https://doi.org/10.5281/zenodo.10806511 .

跳过补充材料部分

补充材料

5733.mp4马力

补充视频

英里4

34.3 MB

工具书类

  1. 岑玉国、侯振宇、王燕、陈启斌、罗益珍、姚兴成、曾敖涵、郭世光、张鹏、戴国浩等,2021年。CogDL:用于深入学习图形的广泛工具包。arXiv预印本arXiv:2103.00959,第7卷,第8卷(2021)。谷歌学者谷歌学者
  2. 马蒂亚斯·费伊(Matthias Fey)和简·埃里克·伦森(Jan Eric Lenssen)。2019.使用PyTorch Geometric快速学习图形表示。arXiv预印arXiv:1903.02428(2019)。谷歌学者谷歌学者
  3. 威尔·汉密尔顿(Will Hamilton)、应志涛(Zhitao Ying)和朱尔·莱斯科维奇(Jure Leskovec)。2017年。大型图形的归纳表示学习。神经信息处理系统进展,第30卷(2017年)。谷歌学者谷歌学者
  4. 胡玉伟、叶子浩、王敏杰、于佳丽、大正、穆丽、张正、张志如和王毅达。2020年。特征图:图形神经网络系统的灵活高效后端。SC20:高性能计算、网络、存储和分析国际会议。IEEE,1-13。谷歌学者谷歌学者交叉引用交叉引用
  5. 托马斯·基普夫(Thomas N Kipf)和马克斯·威林(Max Welling)。2016.图卷积网络半监督分类。arXiv预印arXiv:1609.02907(2016)。谷歌学者谷歌学者
  6. 达米莎·莱纳多拉(Damitha Lenadora)、维马什·萨提亚(Vimarsh Sathia)、杰拉西莫斯·格罗吉安尼斯(Gerasimos Gerogannis)、塞里夫·耶西尔(Serif Yesil)、约塞普·托雷拉斯(Josep Torrellas)和查里。2023.GNN加速的输入敏感密集稀疏基本成分。arXiv预印arXiv:2306.15155(2023)。谷歌学者谷歌学者
  7. 邱胜浩、梁佑、王征。2021.优化图神经网络的稀疏矩阵乘法。在并行计算语言和编译器国际研讨会上。施普林格,101-117。谷歌学者谷歌学者
  8. Khaledur Rahman先生、Majedul Haque Sujon和Ariful Azad。FusedMM:用于图形嵌入和图形神经网络的统一sddmm-spmm内核。2021年IEEE国际并行和分布式处理研讨会(IPDPS)。IEEE,256-266。谷歌学者谷歌学者交叉引用交叉引用
  9. 锈迹斑斑。[编号,日期]。GitHub-rusty1s/pytorch_sparse:优化Autograd稀疏矩阵操作的pytorch扩展库。https://github.com/rusty1/pytorch_sparse谷歌学者谷歌学者
  10. 王敏杰。2019.深度图形库:实现高效、可扩展的图形深度学习。在ICLR关于图和流形表示学习的研讨会上。谷歌学者谷歌学者
  11. Xu Keyyulu、Hu Weihua、Jure Leskovec和Stefanie Jegelka。2018年。图形神经网络的功能有多强大?arXiv预印arXiv:1810.00826(2018)。谷歌学者谷歌学者
  12. 叶子浩、赖瑞航、邵俊茹、陈天奇和吕塞泽。2023.SparseTIR:深度学习中稀疏编译的可组合抽象。第28届ACM编程语言和操作系统体系结构支持国际会议论文集,第3卷。660--678.谷歌学者谷歌学者数字图书馆数字图书馆

索引术语

  1. iSpLib:一个使用自动调整稀疏运算加速图神经网络的库

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        • 发布于

          封面图片ACM会议
          WWW’24:ACM 2024年网络会议相关会议记录
          2024年5月
          1928页
          国际标准图书编号:9798400701726
          内政部:10.1145/3589335

          版权所有©2024 ACM

          如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

          出版商

          计算机协会

          美国纽约州纽约市

          出版历史

          • 出版:2024年5月13日

          权限

          请求有关此文章的权限。

          请求权限

          检查更新

          限定符

          • 短纸

          接受率

          总体验收率1,899属于8,196提交文件,23%
        • 文章指标

          • 下载次数(过去12个月)32
          • 下载次数(最近6周)32

          其他指标

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用eReader联机查看。

        电子阅读器