跳到主要内容
10.1145/3517207.3526977acm会议文章/章节视图摘要出版物页面欧洲系统会议记录会议集合
研究论文
开放式访问

BoGraph:基于日志的结构化贝叶斯优化,用于具有多参数的昂贵系统

出版:2022年4月5日出版历史

摘要

当前的自动调谐器由于其庞大的复杂参数空间和高昂的评估成本而与计算机系统斗争。我们提出了BoGraph,这是一个自动调整框架,它在使用因果结构学习进行优化之前构建系统组件图。该图通过分解参数空间使系统上下文化,以更快地收敛和处理许多参数。此外,BoGraph还公开了一个API,通过性能模型和组件的已知依赖结构对专家的系统知识进行编码。我们通过硬件设计案例研究评估了BoGraph,达到5x个-- 7x个在各种任务中,能量和延迟都比默认值有所提高。

参考文献

  1. 弗吉尼亚·阿格里蒂(Virginia Aglietti)、卢晓宇(Xiaoyu Lu)、安德烈·帕列斯(Andrei Paleyes)和哈维尔·冈萨雷斯(Javier González)。因果贝叶斯优化。国际人工智能与统计会议,第3155-3164页。PMLR,2020年。谷歌学者谷歌学者
  2. Omid Alipourfard、Hongqiang Harry Liu、Jianshu Chen、Shivaram Venkataraman、Minlan Yu和Ming Zhang。CherryPick:《自适应挖掘大数据分析的最佳云配置》,2017年。谷歌学者谷歌学者
  3. Jason Ansel和Cy Chan。PetaBricks公司。XRDS:十字路口,ACM学生杂志, 17(1):32, 2010.谷歌学者谷歌学者数字图书馆数字图书馆
  4. 杰森·安塞尔(Jason Ansel)、肖布·卡米尔(Shoaib Kamil)、卡利安·维拉马切尼(Kalyan Veeramachaneni)、乔纳森·拉甘·凯利(Jonathan Ragan-Kelley)、杰弗里·博斯布姆(Jeffrey Bosboom)、乌纳·梅·奥莱利(Una-May O'Reilly)和萨曼·阿马拉辛格(Saman Amarasinghe)。OpenTuner。第23届并行体系结构与编译国际会议论文集-PACT’14,第303--316页,2014年。谷歌学者谷歌学者
  5. Omid Azizi、Aqeel Mahesri、Benjamin C Lee、Sanjay J Patel和Mark Horowitz。处理器架构和电路设计中的能量-性能权衡:边际成本分析。ACM SIGARCH计算机架构新闻, 38(3):26--36, 2010.谷歌学者谷歌学者数字图书馆数字图书馆
  6. 马克西米利安·巴兰达(Maximilian Balandat)、布莱恩·卡勒(Brian Karrer)、丹尼尔·江泽民(Daniel R.Jiang)、塞缪尔·道尔顿(Samuel Daulton)、本杰明·莱瑟姆(Benjamin Letham)、安德鲁·戈登·威尔逊(Andrew Gordon Wilson)和伊坦·巴克西。BoTorch:高效蒙特卡罗贝叶斯优化框架。arXiv:1910.06403[cs,数学,统计]2020年12月。谷歌学者谷歌学者
  7. 保罗·博蒙特(Paul Beaumont)、本·霍斯堡(Ben Horsburgh)、菲利普·皮尔格斯托弗(Philip Pilgerstorfer)、安杰尔·德罗斯(Angel Droth)、理查德·恩塔里奥(Richard Oentaryo)、史蒂文·勒尔(Steven Ler)、希普·阮(Hiep Nguyen)。CausalNex,2021年。谷歌学者谷歌学者
  8. 詹姆斯·伯格斯特拉(James Bergstra)和约舒亚·本吉奥(Yoshua Bengio)。超参数优化的随机搜索。机器学习研究杂志,2012年2月13日:281--305。谷歌学者谷歌学者
  9. 贝西·拜尔(Betsy Beyer)、克里斯·琼斯(Chris Jones)、詹妮弗·佩托夫(Jennifer Petoff)和尼尔·理查德·墨菲(Niall Richard Murphy)。网站可靠性工程:谷歌如何运行生产系统。O'Reilly Media,Inc.”,2016年。谷歌学者谷歌学者
  10. 克什蒂·巴德瓦吉(Kshitij Bhardwaj)、马顿·哈瓦西(Marton Havasi)、袁瑶(Yuan Yao)、大卫·M·布鲁克斯(David M.Brooks)、何塞·米盖尔·埃尔南德斯·洛巴托(JoséMiguel Hernández Lobato)和顾。使用贝叶斯优化确定多加速器soc的最佳相干接口。IEEE计算机体系结构快报, 18(2):119--123, 2019.谷歌学者谷歌学者数字图书馆数字图书馆
  11. Eli Bingham、Jonathan P.Chen、Martin Jankowiak、Fritz Obermeyer、Neeraj Pradhan、Theofanis Karaletsos、Rohit Singh、Paul Szerlip、保罗·霍斯福尔和诺亚·古德曼。Pyro:深度通用概率编程。2018年10月。谷歌学者谷歌学者
  12. Nathan Binkert、Bradford Beckmann、Gabriel Black、Steven K Reinhardt、Ali Saidi、Arkaprava Basu、Joel Hestness、Derek R Hower、Tushar Krishna和Somayeh Sardashti。gem5模拟器。ACM SIGARCH计算机架构新闻,39(2):2011年1月7日。谷歌学者谷歌学者
  13. 布莱恩·巴西。普罗米修斯:启动和运行:基础设施和应用程序性能监控。“O'Reilly Media,Inc.”,2018年。谷歌学者谷歌学者
  14. 陈田琪、郑连敏、严爱迪、姜子恒、莫罗、塞兹、盖斯林和克里希纳穆蒂。学习优化张量程序。arXiv预打印arXiv:1805.08166, 2018.谷歌学者谷歌学者数字图书馆数字图书馆
  15. Yu-Hsin Chen、Tien Ju Yang、Joel Emer和Vivienne Sze。Eyeriss v2:移动设备上新兴深层神经网络的灵活加速器。arXiv:1807.07928[cs],2019年5月。谷歌学者谷歌学者
  16. 瓦伦丁·达利巴德(Valentin Dalibard)、迈克尔·沙尔斯奇米特(Michael Schaarschmidt)和艾科·尤内基(Eiko Yoneki)。BOAT:使用结构化贝叶斯优化构建自动调谐器。第26届万维网国际会议记录,第479-488页,美国纽约州纽约市,2017年。ACM出版社。谷歌学者谷歌学者
  17. 安德烈亚斯·达米亚努(Andreas Damianou)和尼尔·D·劳伦斯(Neil D Lawrence)。深高斯过程。人工智能与统计,第207至215页。PMLR,2013年。谷歌学者谷歌学者
  18. 塞缪尔·道尔顿(Samuel Daulton)、马克西米利安·巴兰达(Maximilian Balandat)和伊坦·巴克什(Eytan Bakshy)。并行多目标贝叶斯优化的可微期望超体积改进。arXiv预印本arXiv:2006.05078, 2020.谷歌学者谷歌学者
  19. 斯特凡·福克纳(Stefan Falkner)、亚伦·克莱恩(Aaron Klein)和弗兰克·赫特(Frank Hutter)。BOHB:规模上稳健高效的超参数优化。arXiv预打印arXiv:1807.01774, 2018.谷歌学者谷歌学者
  20. Avrilia Floratou、Ashvin Agrawal、Bill Graham、Sriram Rao和Karthik Ramasamy。Dhalion:苍鹭的自我调节流处理。VLDB捐赠会议记录, 10(12):1825--1836, 2017.谷歌学者谷歌学者数字图书馆数字图书馆
  21. Qiang Fu、Jieming Zhu、Wenlu Hu、Jian-Guang Lou、Rui Ding、Qingwei Lin、Dongmei Zhang和Tao Xie。开发人员在哪里登录?工业伐木实践的实证研究。第36届国际软件工程会议同期会议记录,第24-33页,2014年。谷歌学者谷歌学者数字图书馆数字图书馆
  22. 雅各布·加德纳(Jacob R.Gardner)、杰夫·普莱斯(Geoff Pleiss)、大卫·宾德尔(David Bindel)、基利安·温伯格(Kilian Q.Weinberger)和安德鲁·戈登·威尔逊(Andrew Gordon Wilson)。GPyTorch:GPU加速的黑箱矩阵高斯过程推断。arXiv:1809.11165[cs,stat],2019年1月。谷歌学者谷歌学者
  23. Aric Hagberg、Pieter Swart和Daniel S Chult。使用NetworkX探索网络结构、动态和功能。技术报告,洛斯阿拉莫斯国家实验室(LANL),新墨西哥州洛斯阿拉莫斯,2008年。谷歌学者谷歌学者
  24. gem5-aladdin harvard-acc.gem5-aladdin SoC模拟器。哈佛建筑、电路与编译器,2016年10月。谷歌学者谷歌学者
  25. gem5-aladdin-param哈佛acc.gem5-aladdin SoC模拟器。哈佛建筑、电路与编译器,2021年10月。谷歌学者谷歌学者
  26. 彼得·亨德森(Peter Henderson)、利亚沙特·伊斯拉姆(Riashat Islam)、菲利普·巴赫曼(Philip Bachman)、乔尔·皮诺(Joelle Pineau)、多伊娜·普雷库普(Doina Precup)和大卫·梅格(David Meger)。重要的深层强化学习。arXiv预印本arXiv:1709.06560, 2017.谷歌学者谷歌学者
  27. 弗兰克·赫特(Frank Hutter)、霍尔格·胡斯(Holger Hoos)和凯文·莱顿·布朗(Kevin Leyton-Brown)。对昂贵的黑匣子函数基于序列模型的优化进行评估。第十五届遗传与进化计算年会论文集,第1209--1216页,2013年。谷歌学者谷歌学者数字图书馆数字图书馆
  28. Max Jaderberg、Valentin Dalibard、Simon Osindero、Wojciech M.Czarnecki、Jeff Donahue、Ali Razavi、Oriol Vinyals、Tim Green、Iain Dunning和Karen Simonyan。基于人群的神经网络训练。arXiv预打印arXiv:1711.09846, 2017.谷歌学者谷歌学者
  29. Max Jaderberg、Valentin Dalibard、Simon Osindero、Wojciech M.Czarnecki、Jeff Donahue、Ali Razavi、Oriol Vinyals、Tim Green、Iain Dunning、Karen Simonyan、Chrisantha Fernando和Koray Kavukcuoglu。基于人群的神经网络训练。2017年11月。谷歌学者谷歌学者
  30. 保罗·克莱恩。因子分析简易指南。劳特利奇,2014年。谷歌学者谷歌学者交叉引用交叉引用
  31. Daphne Koller和Nir Friedman。概率图形模型:原理和技术。麻省理工学院出版社,2009年。谷歌学者谷歌学者数字图书馆数字图书馆
  32. Lisha Li、Kevin Jamieson、Giulia DeSalvo、Afshin Rostamizadeh和Amee Talwalkar。超波段:一种基于盗贼的新型超参数优化方法。机器学习研究杂志, 18(1):6765--6816, 2017.谷歌学者谷歌学者数字图书馆数字图书馆
  33. 安迪·刘和马修·维纳。通过randomForest进行分类和回归。R新闻, 2(3):18--22, 2002.谷歌学者谷歌学者
  34. 刘海涛(Haitao Liu)、王紫松(Yew-Soon Ong)、沈晓波(Xiaobo Shen)和蔡健飞(Jianfei Cai)。当高斯过程遇到大数据:可扩展GP的回顾。arXiv:1807.01065[cs,统计],2019年4月。谷歌学者谷歌学者
  35. 大卫·JC·麦凯。贝叶斯神经网络和密度网络。物理研究中的核仪器和方法A部分:加速器、光谱仪、探测器和相关设备, 354(1):73--80, 1995.谷歌学者谷歌学者交叉引用交叉引用
  36. Azalia Mirhoseini、Hieu Pham、Quoc V.Le、Benoit Steiner、Rasmus Larsen、Yuefeng Zhou、Naveen Kumar、Mohammad Norouzi、Samy Bengio和Jeff Dean。基于强化学习的设备布局优化。CoRR公司,abs/1706.02017年6月。谷歌学者谷歌学者
  37. Ujval Misra、Richard Liaw、Lisa Dunlap、Romil Bhardwaj、Kirthevasan Kandasamy、Joseph E.Gonzalez、Ion Stoica和Alexey Tumanov。RubberBand:基于云的超参数调整。第十六届欧洲计算机系统会议记录,第327--342页,英国在线活动,2021年4月。ACM公司。谷歌学者谷歌学者数字图书馆数字图书馆
  38. 布鲁斯·莫健(Bruce Momjian)。PostgreSQL:简介和概念第192卷。Addison-Wesley纽约,2001年。谷歌学者谷歌学者数字图书馆数字图书馆
  39. Luigi Nardi、David Koeplinger和Kunle Olukotun。实用设计空间探索。2019年IEEE第27届计算机和通信系统建模、分析和仿真国际研讨会(MASCOTS),第347-358页。IEEE,2019年。谷歌学者谷歌学者交叉引用交叉引用
  40. 开放源代码。微软/nni。微软,2020年12月。谷歌学者谷歌学者
  41. 安迪·皮门特尔。探索探索:嵌入式系统设计空间探索教程介绍。IEEE设计与测试, 34(1):77--90, 2016.谷歌学者谷歌学者交叉引用交叉引用
  42. 卡尔·爱德华·拉斯穆森和克里斯托弗·威廉姆斯。机器学习的高斯过程。自适应计算和机器学习。麻省理工学院出版社,剑桥,马萨诸塞州,3。2008年印刷版。谷歌学者谷歌学者
  43. 布兰登·里根(Brandon Reagen)、罗伯特·阿道夫(Robert Adolf)、亚昆·索菲亚·邵(Yakun Sophia Shao)、顾延伟(Gu-Yeon Wei)和大卫·布鲁克斯(David Brooks)。Machsuite:加速器设计和定制架构的基准。2014年IEEE工作负荷特性国际研讨会(IISWC),第110-119页。IEEE,2014年。谷歌学者谷歌学者交叉引用交叉引用
  44. Mauro Scanagatta、Antonio Salmerón和Fabio Stella。贝叶斯网络结构数据学习研究综述。人工智能进展,2019年第1-15页。谷歌学者谷歌学者
  45. Bobak Shahraria、Kevin Swersky、Ziyu Wang、Ryan P Adams和Nando De Freitas。让人类脱离循环:贝叶斯优化综述。IEEE会议记录, 104(1):148--175, 2015.谷歌学者谷歌学者交叉引用交叉引用
  46. Yakun Sophia Shao、Brandon Reagen、Gu-Yeon Wei和David Brooks。阿拉丁(Aladdin):一个预rtl、高性能加速器模拟器,支持对定制架构进行大规模设计空间探索。2014年ACM/IEEE第41届计算机体系结构国际研讨会(ISCA),第97页至第108页。IEEE,2014年。谷歌学者谷歌学者交叉引用交叉引用
  47. Yakun Sophia Shao、Sam Likun Xi、Vijayalakshmi Srinivasan、Gu-Yeon Wei和David Brooks。使用gem5-aladdin共同设计加速器和soc接口。2016年第49届IEEE/ACM国际微体系结构研讨会(MICRO),第1-12页。IEEE,2016年。谷歌学者谷歌学者交叉引用交叉引用
  48. 贾斯珀·斯诺克(Jasper Snoek)、雨果·拉罗谢尔(Hugo Larochelle)和瑞安·亚当斯(Ryan P Adams)。机器学习算法的实用贝叶斯优化。神经信息处理系统研究进展,第2951-2959页,2012年。谷歌学者谷歌学者数字图书馆数字图书馆
  49. 理查德·萨顿(Richard S.Sutton)和安德鲁·巴托(Andrew G.Barto)。强化学习:简介。麻省理工学院出版社,剑桥马萨诸塞州,1998年。谷歌学者谷歌学者数字图书馆数字图书馆
  50. Dana Van Aken、Andrew Pavlo、Geoffrey J.Gordon和Bohan Zhang。通过大规模机器学习调整自动数据库管理系统。2017年ACM国际数据管理会议记录-SIGMOID’17,第1009-1024页,美国纽约州纽约市,2017年。ACM出版社。谷歌学者谷歌学者
  51. 达娜·范·阿肯(Dana Van Aken)、杨东生(Dongsheng Yang)、塞巴斯蒂安·布里拉德(Sebastien Brillard)、阿里·菲奥里诺(Ari Fiorino)、张伯翰(Bohan Zhang)、克里斯蒂安·比林(Christian Bilien)和安德鲁·帕夫洛(Andrew。对现实数据库管理系统上基于机器学习的自动配置调整服务的探讨。VLDB捐赠会议记录, 14(7):1241--1253, 2021.谷歌学者谷歌学者数字图书馆数字图书馆
  52. Shivaram Venkataraman、Zongheng Yang、Michael Franklin、Benjamin Recht和Ion Stoica。欧内斯特:大规模高级分析的高效性能预测。第十三届{USENIX}网络系统设计与实现研讨会({NSDI}16),第363--378页,2016年。谷歌学者谷歌学者
  53. 王子瑜、弗兰克·哈特、马斯鲁尔·佐吉、大卫·马西森和南多·德菲塔斯。通过随机嵌入实现十亿维贝叶斯优化。人工智能研究杂志, 55:361--387, 2016.谷歌学者谷歌学者交叉引用交叉引用
  54. Svante Wold、Kim Esbensen和Paul Geladi。主成分分析。化学计量学和智能实验室系统, 2(1--3):37--52, 1987.谷歌学者谷歌学者
  55. 丁元、索延公园和周媛媛。描述开源软件中的日志记录实践。2012年第34届国际软件工程会议(ICSE),第102-112页。IEEE,2012年。谷歌学者谷歌学者交叉引用交叉引用
  56. Xun Zheng、Bryon Aragam、Pradeep Ravikumar和Eric P Xing。没有眼泪的匕首:结构学习的持续优化。arXiv预打印arXiv:1803.01422, 2018.谷歌学者谷歌学者

建议

评论

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

登录

完全访问权限

  • 发布于

    封面图片ACM会议
    EuroMLSys’22:第二届欧洲机器学习和系统研讨会会议记录
    2022年4月
    121页
    国际标准图书编号:9781450392549
    内政部:2014年10月14日/1517207

    版权所有©2022所有者/作者

    本作品根据Creative Commons Attribution International 4.0许可证授权。

    发布者

    计算机协会

    美国纽约州纽约市

    出版历史

    • 出版:2022年4月5日

    检查更新

    限定符

    • 研究论文

    接受率

    总体验收率18属于26提交文件,69%

    即将召开的会议

    25年欧洲系统
    第二十届欧洲计算机系统会议
    2025年3月30日-4月3日
    鹿特丹,荷兰
  • 文章指标

    • 下载次数(过去12个月)197
    • 下载量(最近6周)6

    其他指标

PDF格式

以PDF文件的形式查看或下载。

PDF格式

电子阅读器

使用eReader联机查看。

电子阅读器