跳到主要内容
10.1145/3569951.3597558acm会议文章/章节视图摘要出版物页面珍珠会议记录会议集合
海报

关于运行应用程序的知识是否有助于改进HPC作业的运行时预测?

出版:2023年9月10日出版历史

摘要

高性能计算系统依赖于调度算法来实现高利用率。这些调度程序依赖于用户对作业资源需求(如运行时)的估计,以确定传入作业的最佳调度。然而,这些用户估计很容易出错。为了减少这一错误,大量研究致力于提供更好的作业运行时估计,通常采用机器学习技术。这些技术取决于所选的输入特征。可能的功能之一是作业使用的主要应用程序。在一项针对改善运行时预测的20多篇论文的调查中,只有四篇将主应用程序作为输入功能。我们将此调查的重点放在添加主应用程序作为输入功能的价值上,并发现它确实提高了模型性能,特别是对于运行时间较长的作业,尽管此改进因所使用的应用程序而异。我们建议进行进一步研究,以确定这种可变性的原因,以及采用混合模型的最佳策略,包括和不包括作为特征的主要应用程序。

工具书类

  1. 国家可再生能源实验室。2023.鹰计算系统。国家可再生能源实验室。2023年2月24日检索自https://www.nrel.gov/hpc/eagle-system.html谷歌学者谷歌学者
  2. 2021年,李静波、张兴军、李翰、季泽瑜、董晓社和胡成龙。OKCM:使用在线学习改进高性能计算系统中的并行任务调度。《超级计算杂志》77(2021),5960–5983。谷歌学者谷歌学者数字图书馆数字图书馆
  3. 斯科特·伦德伯格(Scott M Lundberg)和苏茵·李(Su-In Lee)。2017年。解释模型预测的统一方法。神经信息处理系统进展30(2017)。谷歌学者谷歌学者
  4. 刘德米拉·普罗霍伦科娃(Liudmila Prokhorenkova)、格列布·古塞夫(Gleb Gusev)、阿列克桑德·沃罗贝夫(Aleksandr Vorobev)、安娜·维罗妮卡·多洛古什(Anna Veronika Dorogush)和安德烈·古林。2018.CatBoost:无偏见的助推,具有分类功能。神经信息处理系统进展31(2018年)。谷歌学者谷歌学者
  5. 穆罕默德·塔纳什(Mohammed Tanash)、丹尼尔·安德烈森(Daniel Andresen)和威廉·徐(William Hsu)。2021.AMPRO-HPCC:预测Slurm HPC集群资源的机器学习工具。第十五届国际先进工程计算与科学应用会议。20–27之间。谷歌学者谷歌学者
  6. 穆罕默德·塔纳什(Mohammed Tanash)、杨惠晨(Huichen Yang)、丹尼尔·安德森(Daniel Andresen)和威廉·徐(William Hsu)。2021.集成工作资源预测,以提高基于slurm的hpc系统的系统性能。在高级研究计算方面的实践和经验。1–8.谷歌学者谷歌学者
  7. Salah Zrigui、Raphael Y de Camargo、Arnaud Legrand和Denis Trystram。2022.使用在线作业运行时分类改进批调度程序的性能。J.并行和分布式计算。164 (2022), 83–95.谷歌学者谷歌学者数字图书馆数字图书馆

索引术语

  1. 关于运行应用程序的知识是否有助于改进HPC作业的运行时预测?

      建议

      评论

      登录选项

      检查您是否可以通过登录凭据或您的机构访问本文。

      登录

      完全访问权限

      • 发布于

        封面图片ACM会议
        PEARC’23:高级研究计算的实践和经验
        2023年7月
        519页
        国际标准图书编号:9781450399852
        内政部:10.1145/3569951

        版权所有©2023所有者/作者

        如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的部分或全部数字或硬拷贝以供个人或课堂使用。必须尊重本作品第三方组件的版权。对于所有其他用途,请联系所有者/作者。

        出版商

        计算机协会

        美国纽约州纽约市

        出版历史

        • 出版:2023年9月10日

        检查更新

        限定符

        • 海报
        • 研究
        • 推荐有限公司

        接受率

        总体验收率133属于202提交,66%

        即将召开的会议

        PEARC’24
        PEARC’24:高级研究计算的实践和经验
        2024年7月21日至25日
        普罗维登斯,RI中,美国
      • 文章指标

        • 下载次数(过去12个月)44
        • 下载次数(最近6周)10

        其他指标

      PDF格式

      以PDF文件查看或下载。

      PDF格式

      电子阅读器

      使用eReader联机查看。

      电子阅读器

      HTML格式

      以HTML格式查看本文。

      查看HTML格式