跳到主要内容
10.1145/3569951.3597596acm会议文章/章节视图摘要出版物页面珍珠会议记录会议收藏品
短纸
开放式访问

开放指南针项目高级人工智能工程测试平台的深度学习基准研究

出版:2023年9月10日出版历史

摘要

我们用各种人工智能加速器展示了开放指南针项目的试点深度学习基准测试结果。这些加速器是NVIDIA V-100和A-100、AMD MI100,以及新兴的新型加速器,如Cerebras CS-2和Graphcore。我们评估他们在各种深度学习培训任务中的表现。然后,我们讨论了从我们的实验中获得的关键见解,并分享了评估这些新型AI加速器并将其与我们的超级计算系统集成的经验。

工具书类

  1. [1] 大脑模型动物园R1.6.0。https://github.com/Cerebras/modelzoo/tree/R_1.6.0。谷歌学者谷歌学者
  2. 保罗A。Buitrago和Nicholas A。尼斯特罗姆。2019.开放指南针:加速人工智能在开放研究中的应用。《关于机器崛起的高级研究计算实践和经验会议录》(美国伊利诺伊州芝加哥)(PEARC’19)。第72条,共9页。谷歌学者谷歌学者
  3. 保罗A。Buitrago和Nicholas A。尼斯特罗姆。2021.新皮质与桥梁-2:科学、发现和社会公益的高性能AI+HPC生态系统。在高性能计算领域。施普林格国际出版公司,205-219。谷歌学者谷歌学者
  4. 雅各布·德夫林(Jacob Devlin)、张明伟(Ming Wei Chang)、肯顿·李(Kenton Lee)和克里斯蒂娜·图塔诺娃(Kristina Toutanova)。2019.BERT:深度双向变形金刚语言理解预培训。《计算语言学协会北美分会2019年会议记录:人类语言技术》,NAACL-HLT。4171–4186. https://doi.org/10.18653/v1/n19-1423谷歌学者谷歌学者
  5. Emani等人,2022年。针对深度学习工作负载的新型AI加速器的综合评估。2022年,IEEE/ACM高性能计算机系统(PMBS)性能建模、基准测试和仿真国际研讨会。13-25之间。https://doi.org/10.109/PMBS56514.2022.00007谷歌学者谷歌学者
  6. 亚伦·戈卡斯兰(Aaron Gokaslan)和瓦尼亚·科恩(Vanya Cohen)。2019.OpenWebText语料库。http://Skylion007.github.io/OpenWebTextCorpus谷歌学者谷歌学者
  7. Abhinand Nasari等人,2022年。对人工智能/机器学习工作负载的国家网络基础设施资源加速器的性能进行基准测试。高级研究计算实践与经验(美国马萨诸塞州波士顿)(PEARC’22)。第19条。谷歌学者谷歌学者
  8. 亚历克·拉德福德(Alec Radford)、杰夫·吴(Jeff Wu)、瑞文·柴尔德(Rewon Child)、大卫·卢(David Luan)、达里奥·阿莫迪(Dario Amodei)和伊利亚·萨茨克弗(Ilya Sutskever)。2019.语言模型是无监督的多任务学习者。(2019).谷歌学者谷歌学者
  9. Colin Raffel等人,2020年。使用统一的文本到文本转换器探索迁移学习的局限性。《机器学习研究杂志》21,1(2020),5485–5551。谷歌学者谷歌学者
  10. 奥拉夫·伦尼伯格(Olaf Ronneberger)、菲利普·菲舍尔(Philipp Fischer)和托马斯·布洛克斯(Thomas Brox)。2015.U-Net:生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预——2015年MICCAI。施普林格国际出版社,商会,234–241。谷歌学者谷歌学者交叉引用交叉引用
  11. Ashish Vaswani等人,2017年。注意力是你所需要的。神经信息处理系统进展,第30卷。Curran Associates公司。谷歌学者谷歌学者

索引术语

  1. 开放指南针项目高级人工智能工程测试平台的深度学习基准研究

      建议

      评论

      登录选项

      检查您是否可以通过登录凭据或您的机构访问本文。

      登录

      完全访问权限

      • 文章指标

        • 下载次数(过去12个月)328
        • 下载次数(最近6周)54

        其他指标

      PDF格式

      以PDF文件查看或下载。

      PDF格式

      电子阅读器

      使用eReader联机查看。

      电子阅读器

      HTML格式

      以HTML格式查看本文。

      查看HTML格式