摘要
第二届机器翻译会议，2017年。 谷歌学者 
Tensorflow xla概述。 https://www.tensorflow.org/ 性能/xla，2017年。 谷歌学者 ML性能。 网址：https://mlperf.org/ , 2018. 谷歌学者 TVM：用于深度学习的自动化端到端优化编译器。 2018年，加利福尼亚州卡尔斯巴德OSDI。 USENIX协会。 谷歌学者 数字图书馆 
Martín Abadi、Paul Barham、Jianmin Chen、Zhifeng Chen、Andy Davis、Jeffrey Dean、Matthieu Devin、Sanjay Ghemawat、Geoffrey Irving、Michael Isard等，《TensorFlow:大型机器学习系统》。 在OSDI中，第16卷，第265-283页，2016年。 谷歌学者 数字图书馆 Robert Adolf、Saketh Rama、Brandon Reagen、Gu YeonWei和David Brooks。 深度：现代深度学习方法的参考工作量。 在IISWC中，第1-10页。 IEEE，2016年。 谷歌学者 交叉引用 
秋叶拓哉、铃木舒吉和福田敬介。 超大小批量sgd：15分钟内在imagenet上训练resnet-50。 arXiv预印arXiv:1711.043252017。 谷歌学者 达里奥·阿莫迪和丹尼·埃尔南德斯。 Ai和compute，2018年。 谷歌学者 Berk Atikoglu、Yuehai Xu、Eitan Frachtenberg、Song Jiang和Mike Paleczny。 大型键值存储的工作负载分析。 在SIGMETRICS，第40卷，第53-64页。 ACM，2012年。 谷歌学者 数字图书馆 阿列克谢·巴耶夫斯基和迈克尔·奥利。 神经语言建模的自适应输入表示。 arXiv预印arXiv:1809.108532018。 谷歌学者 Soheil Bahrampour、Naveen Ramakrishnan、Lukas Schott和Mohak Shah。 深度学习软件框架的比较研究。 arXiv预印arXiv:1511.064352015。 谷歌学者 百度。 DeepBench：对不同硬件上的深度学习操作进行基准测试。 https://github.com/baidu-research/ DeepBench，2017年。 谷歌学者 阿努普·班德。 2018年，机器学习中什么是不足和过拟合，以及如何应对。 谷歌学者 维克托·比托夫（Victor Bittorf）。2019年，使ncf反映生产使用情况。 谷歌学者 道格汉堡。 微软推出实时人工智能项目Brainwave。微软研究院，微软，2017年22月。 谷歌学者 Kevin K Chang、A Giray Yaglkç、Saugata Ghose、Aditya Agrawal、Niladrish Chatterjee、Abhijith Kashyap、Donghyuk Lee、Mike O’Connor、Hasan Hassan和Onur Mutlu。 了解现代dram器件中的降压操作：实验表征、分析和机制。 SIGMETRICS，1（1）：2017年10月。 谷歌学者 数字图书馆 西普里安·切尔巴（Ciprian Chelba）、托马斯·米科洛夫（Tomas Mikolov）、迈克·舒斯特（Mike Schuster）、齐格（Qi Ge）、托尔斯滕·布兰茨（Thorsten Brants）、菲利普·科恩（Phillipp Koehn）和托尼·罗宾逊（Tony Robinson）。 用于衡量统计语言建模进展的十亿字基准。 arXiv预印arXiv:1312.30052013。 谷歌学者 陈田琪、穆莉、李玉田、林敏、王乃燕、王敏杰、肖天军、徐冰、张驰元和张政。 Mxnet：一个用于异构分布式系统的灵活高效的机器学习库。 arXiv预印arXiv:1512.012742015。 谷歌学者 Sharan Chetlur、Cliff Woolley、Philippe Vandermersch、Jonathan Cohen、John Tran、Bryan Catanzaro和Evan Shelhamer。 cuDNN：深度学习的高效原件。 arXiv预印arXiv:1410.07592014。 谷歌学者 Trishul M Chilimbi、Yutaka Suzue、Johnson Apacible和Karthik Kalyanaraman。 亚当项目：构建高效、可扩展的深度学习培训系统。 OSDI，第14卷，第571-582页，2014年。 谷歌学者 数字图书馆 索米斯·钦塔拉。 Convent-Benchmarks：对所有公共可访问的Convents实现进行简单的基准测试。 https://github。 com/soumith/convnet-benchmarks，2017年9月。 谷歌学者 Cody Coleman、Deepak Narayanan、Daniel Kang、Tian Zhao、Jian Zhang、Luigi Nardi、Peter Bailis、Kunle Olukotun、Chris Ré和Matei Zaharia。DAWNBench：端到端的深度学习基准和竞争。 NIPS ML系统研讨会，2017年。 谷歌学者 克里斯托弗·德萨、马修·费尔德曼、克里斯托弗·雷和昆勒·奥卢科顿。 理解和优化异步低精度随机梯度下降。 在ISCA中。 ACM，2017年。 谷歌学者 数字图书馆 克里斯托弗·德萨（Christopher De Sa）、梅根·莱斯琴斯基（Megan Leszczynski）、张健（Jian Zhang）、阿拉娜·马尔佐夫（Alana Marzoev）、克里斯托弗·阿贝格尔（Christopor R Aberger）、昆勒·奥卢科顿（Kunle。 高精度低精度训练。 arXiv预印arXiv:1803.033832018。 谷歌学者 Jeffrey Dean、Greg Corrado、Rajat Monga、Kai Chen、Matthieu Devin、Mark Mao、Andrew Senior、Paul Tucker、Ke Yang、Quoc V Le等。大型分布式深网络。 NIPS，2012年。 谷歌学者 数字图书馆 J.Deng、W.Dong、R.Socher、L.-J.Li、K.Li和L.Fei-Fei。 ImageNet：一个大规模的分层图像数据库。 在CVPR092009中。 谷歌学者 交叉引用 Saugata Ghose、Abdullah Giray Yaglikçi、Raghav Gupta、Donghyuk Lee、Kais Kudrolli、William X Liu、Hasan Hassan、Kevin K Chang、Niladrish Chatterjee、Aditya Agrawal等。你的dram功率模型没有告诉你什么：来自详细实验研究的教训。 SIGMETRICS，2（3）：38，2018年。 谷歌学者 数字图书馆 泽维尔·格洛特、安托万·博德斯和约舒亚·本吉奥。 深度稀疏整流器神经网络。 在AISTATS中，第315-3232011页。 谷歌学者 伊恩·古德费罗（Ian Goodfellow）、约舒亚·本吉奥（Yoshua Bengio）和亚伦·库维尔（Aaron Courville）。 深度学习。 麻省理工学院出版社，2016年。 谷歌学者 数字图书馆 谷歌。 TensorFlow基准。 https://www.tensorflow.org/ 绩效/基准，2017年。 谷歌学者 Priya Goyal、Piotr Dollár、Ross Girshick、Pieter Noordhuis、Lukasz Wesolowski、Aapo Kyrola、Andrew Tulloch、Yangqing Jia和Kaiming He。 精确的大型小批量SGD：在1小时内训练ImageNet。 arXiv预印arXiv:1706.026772017。 谷歌学者 亚伦·哈拉普（Aaron Harlap）、崔恒刚（Henggang Cui）、魏岱（Wei Dai）、韦金良（Jinliang Wei）、格雷戈里·甘格（Gregory Ganger）、菲利普·吉本斯（Phillip Gibbons）、加思·吉布森（Garth Gibson）和埃里克·星（Eric Xing）。 解决SoCC中迭代收敛并行ML的Stragler问题。 ACM，2016年。 谷歌学者 数字图书馆 Forrest N Iandola、Song Han、Matthew W Moskewicz、Khalid Ashraf、William J Dally和Kurt Keutzer。 SqueezeNet:AlexNet级精度，参数少50倍，模型大小小于0.5 MB。 arXiv预印arXiv:1602.073602016。 谷歌学者 英特尔。 Bigdl：面向apache spark的分布式深度学习库，2019年。 谷歌学者 谢尔盖·洛夫和克里斯蒂安·塞格迪。 批量规范化：通过减少内部协变量偏移来加速深层网络培训。 arXiv预印arXiv:1502.031672015。 谷歌学者 贾阳庆、埃文·谢尔哈默、杰夫·多纳休、谢尔盖·卡拉耶夫、乔纳森·朗、罗斯·吉希克、塞尔吉奥·瓜达拉马和特雷弗·达雷尔。 Caffe：快速特征嵌入的卷积架构。 在ACM国际多媒体会议上，第675-678页。 ACM，2014年。 谷歌学者 数字图书馆 Jia Zhihao、Matei Zaharia和Alex Aiken。 超越深度神经网络的数据和模型并行性。 2019年，SysML。 谷歌学者 Norman P Jouppi、Cliff Young、Nishant Patil、David Patterson、Gaurav Agrawal、Raminder Bajwa、Sarah Bates、Suresh Bhatia、Nan Boden、Al Borchers等。张量处理单元的数据中心内性能分析。 在ISCA中，第1-12页。 ACM，2017年。 谷歌学者 数字图书馆 Rafal Jozefowicz、Oriol Vinyals、Mike Schuster、Noam Shazeer和Yonghui Wu。 探索语言建模的局限性。 arXiv预印arXiv:1602.02412016。 谷歌学者 Tero Karras、Timo Aila、Samuli Laine和Jaakko Lehtinen。 GAN的逐步生长以提高质量、稳定性和变异性。 arXiv预印arXiv:1710.101962017。 谷歌学者 Diederik P Kingma和Jimmy Ba.Adam：一种随机优化方法。 ICLR，2015年。 谷歌学者 Mu Li、David G Andersen、Jun Woo Park、Alexander J Smola、Amr Ahmed、Vanja Josifovski、James Long、Eugene J Shekita和Bor-Ying Su。使用参数服务器扩展分布式机器学习。 OSDI，第14卷，第583-598页，2014年。 谷歌学者 数字图书馆 Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。 用于单图像超分辨率的增强深度剩余网络。 CVPR研讨会，第1卷，第3页，2017年。 谷歌学者 林育君、宋汉、毛慧子、王瑜和比尔·戴利。 深度梯度压缩：减少分布式训练的通信带宽。 ICLR，2018年。 谷歌学者 斯特凡诺·马基迪斯（Stefano Markidis）、史蒂文·魏德建（Steven Wei Der Chien）、埃尔文·劳尔（Erwin Laure）、常春藤·博·彭（Ivy Bo Peng）和杰弗里·斯维特（Jeffrey S Vetter）。 Nvidia张量核心可编程性、性能和精度。 arXiv预印arXiv:1803.040142018。 谷歌学者 多米尼克·马斯特斯和卡洛·卢斯基。 重温深度神经网络的小批量训练。 arXiv预印arXiv:1804.07612018。 谷歌学者 Sam McCandish、Jared Kaplan、Dario Amodei和OpenAI Dota团队。 大幅度训练的经验模型。 arXiv预印arXiv:1812.061622018。 谷歌学者 Paulius Micikevicius、Sharan Narang、Jonah Alben、Gregory Diamos、Erich Elsen、David Garcia、Boris Ginsburg、Michael Houston、Oleksii Kuchaev、Ganesh Venkatesh等。混合精准训练。 arXiv预印arXiv:1710.037402017。 谷歌学者 Ioannis Mitliagkas、Ce Zhang、Stefan Hadjis和Christopher Ré。 异步产生动力，并应用于深度学习。 2016年第54届阿勒顿通信、控制和计算年会（阿勒顿），第997-1004页。 IEEE，2016年。 谷歌学者 数字图书馆 维诺德·奈尔和杰弗里·欣顿。 整流线性单元改善了受限的玻尔兹曼机器。 在ICML中，第807-814页，2010年。 谷歌学者 数字图书馆 Feng Niu、Benjamin Recht、Christopher Re和Stephen Wright。 Hogwild：一种并行化随机梯度下降的无锁方法。 在NIPS中，第693--7012011页。 谷歌学者 数字图书馆 Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。 pytorch中的自动区分。 2017 谷歌学者 Dexmont Pena、Andrew Forembski、X小凡和David Moloney。 低成本、低功耗机器人应用CNN的基准测试。 2017 谷歌学者 Esteban Real、Alok Aggarwal、Yanping Huang和Quoc V Le。 图像分类器体系结构搜索的正则化进化。 arXiv预印arXiv:1802.015482018。 谷歌学者 本杰明·雷奇特（Benjamin Recht）、丽贝卡·罗洛夫斯（Rebecca Roelofs）、路德维希·施密特（Ludwig Schmidt）和维沙尔·尚卡尔（Vaishaal Shankar）。 CIFAR-10分类器是否概括为CIFAR-10？ CoRR，abs/1806.004512018年。 谷歌学者 赫伯特·罗宾斯和萨顿·蒙罗。 一种随机近似方法。 《数理统计年鉴》，第400-407页，1951年。 谷歌学者 亚历山大·谢尔盖夫和迈克·德尔·巴尔索。 Horovod：在张量流中快速且容易的分布式深度学习。 arXiv预印arXiv:1802.057992018。 谷歌学者 史绍怀、王强、徐鹏飞和朱晓文。 标杆管理先进的深度学习软件工具。 云计算和大数据（CCBD）。 IEEE，2016年。 谷歌学者 Samuel L Smith、Pieter-Jan Kindermans和Quoc V Le。 不要降低学习速度，增加批量大小。 arXiv预印arXiv:1711.004892017。 谷歌学者 贾沙·索尔·迪克斯坦（Jascha Sohl-Dickstein）、本·普尔（Ben Poole）和苏里亚·甘古利（Surya Ganguli）。 统一随机梯度和拟牛顿法的快速大规模优化。 在ICML中，第604-612页，2014年。 谷歌学者 数字图书馆 Chen Sun、Abhinav Shrivastava、Saurabh Singh和Abhinav Gupta。 重新审视深度学习时代数据的不合理有效性。 CoRR，abs/1707.029682017年。 谷歌学者 伊利亚·萨茨克弗（Ilya Sutskever）、詹姆斯·马滕斯（James Martens）、乔治·达尔（George Dahl）和杰弗里·辛顿（Geoffrey Hinton）。 关于深度学习中初始化和动量的重要性。 在ICML中，第1139--1147页，2013年。 谷歌学者 数字图书馆 塞缪尔·威廉姆斯、安德鲁·沃特曼和大卫·帕特森。 屋顶：多核架构的一个有见地的视觉性能模型。 ACM通讯，52（4）：65-762009。 谷歌学者 数字图书馆 阿西娅·威尔逊、丽贝卡·罗洛夫斯、米切尔·斯特恩、纳蒂·斯雷布罗和本杰明·雷希特。 机器学习中自适应梯度方法的边际值。 在NIPS中，第4148-4158页，2017年。 谷歌学者 数字图书馆 杨友、赵章、谢秋菊、詹姆斯·德梅尔和库尔特·考茨。 几分钟内完成Imagenet训练。 在ICPP中，第1页。 ACM，2018年。 谷歌学者 数字图书馆 张策和克里斯托弗·雷。 Dimmwitted：主记忆统计分析研究。 PVLDB，7（12）：1283--12942014年。 谷歌学者 数字图书馆 朱洪瑜、穆罕默德·阿克鲁特、郑波坚、安德鲁·佩莱格里斯、阿马尔·法尼沙耶伊、比安卡·施罗德和根纳迪·佩基蒙科。 Tbd：深度神经网络训练的基准测试和分析。 arXiv预印arXiv:1803.069052018。 谷歌学者
建议
服务器整合基准测试的特征描述与分析 VEE’08：第四届ACM SIGPLAN/SIGOPS虚拟执行环境国际会议记录 虚拟化在数据中心中已经变得无处不在，用于在单个平台上整合多个工作负载。 然而，文献中很少有关于服务器整合工作负载的性能研究。 在本文中，我们的目标。。。
