{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期-部件”：[[2024,6,7]]，“日期-时间”：“2024-06-07T11:20:01Z”，“时间戳”：1717759201359}，“参考-计数”：67，“出版商”：“计算机械协会（ACM）”，“问题”：“1”，“许可证”：[{“开始”:{“日期-零件”：[2019,7,25]]，时间“：”2019-07-25T00:00:00Z“，“timestamp”：1564012800000}，“content-version”：“vor”，“delay-in-days”：0，“URL”：“http://www.acm.org\/publications\/policys\/corpyright_policy#Background”}]，“content-domain”：{“domain”:[“dl.acm.org”]，“crossmark-restriction”：true}，”short-container-title“：[”SIGOPS Oper.Syst.Rev.“]，”published-print“：{”date-parts“：[2019,7]25]]}，“抽象”：“研究人员提出了硬件、软件和算法优化，以提高深度学习的计算性能。虽然其中一些优化可以更快地执行相同的操作（例如，提高GPU时钟速度），但其他许多优化会修改训练过程的语义（例如，降低精度），并可能影响最终模型对未查看数据的准确性。由于缺乏考虑这些权衡的标准评估标准，因此很难直接比较这些优化。为了解决这个问题，我们最近推出了DAWNBENCH，这是一项基准测试比赛，重点关注端到端的训练时间，以在看不见的数据集上实现近一流的准确性，这是称为时间到准确性（TTA）的综合衡量标准。在这项工作中，我们分析了来自DAWNBENCH的条目，该条目收到了来自多个行业团体的优化提交，以调查TTA作为衡量指标的行为以及表现最好的条目的趋势。我们表明，TTA具有较低的变异系数，为TTA优化的模型几乎与使用标准方法训练的模型一样通用。此外，尽管DAWNBENCH条目能够在3分钟内训练ImageNet模型，但我们发现它们仍然没有充分利用Tensor Cores等硬件功能。此外，我们发现分布式条目可以在通信上花费一半以上的时间。我们在MLPERF v0.5基准测试的条目中显示了类似的结果。<\/jats:p>“，”DOI“：”10.1145\/3352020.3352024“，”type“：”journal-article“，”created“：{”date-parts“：[[2019,7,26]]，”date-time“：”2019-07-26T13:17:18Z“，”timestamp“：1564147038000}“，”page“：“14-25”，“update-policy”：“http://dx.DOI.org\/10.1145\/crossmark-policy”“，”source“：”Crossref“，”is-referenced-by-count“：54，”title“：[“DAWNBench分析，一个时间-准确性机器学习性能基准”]，”prefix“：”10.1145“，”volume“：”53“，”author“：[{”given“：“Cody”，”family“：”Coleman“，”sequence“：”first“，”affiliation“：[[{“name”：“Stanford DAWN，Stanford，CA，USA”}]}，{“given”：“Daniel”，“family”：“Kang”，“sequence”：“additional”，“affiliation“：[{”name“：”Stanford DAWN，Standford，CA，USA“}]}，{”given“：”Deepak“，”family“：”Narayanan“，”sequence“：”additional“，”affiliation:[{“name”：“Stanford DOWN，斯坦福德，CA，美国”}]}.，{“given”：“Luigi”，“family”：“Nardi”，”segment“：”additional“”affidiation“：”[{（name）：“Standard DAWN），Stanford，CA，US“}]{”田”，“家庭”：“赵”，“序列”：“additional“，”affiliation“：[{“name”：“Stanford DAWN，Stanford，CA，USA”}]}，{“given”：“Jian”，“family”：“Zhang”，“sequence”：“additional”，“affiliance”：[{'name“：”Stanford DOWN，斯坦福，CA，美国“}]}，{”given“：”Peter“，”family“：”Bailis“，”sequence“：”additional“，”family“：”Olukotun“，”sequence“：”additional“，”affiliation“：[{“name”：“Stanford DAWN，Stanford，CA，USA”}]}，{“given”：“Chris”，“family”：“R\u00e9”，“sequence”：“additional”，“affiliation:[{”name“：”Stanford DOWN，斯坦福，CA，美国“}]}，{”given“：”Matei“，”family“：”Zaharia“，”sequence}]，“成员”：“320”，“在线发布“：{“date-parts”：[[2019,7,25]]}，“reference”：[{“key”：“e_1_1_1”，“unstructured”：“2017年第二届机器翻译会议。2017年机器翻译第二次会议。“}，{“key”：“e_1_1_2_1”，“volume-title”：“https:\/\/www.tensorflow.org\/performance\/xla”，“author”：“tensorflow”，“year”：“2017”，“unstructured”：“Tansorflow-xla overview.https:\/\/www.tensoflow.org\/performance\/xla，2017.tensorflow-xla overview。https:\//www.tensorplow.org performance\/xla，2017。”}，{“key”：“e_1_1_3_1”，“volume-title”：“https:\/\/mlperf.org\/”，“year”：“2018”，“unstructured”：“mlperf.https:\/\/mlperf.org\/，2018.mlperf.htmps:\//mlperf.org\/，2018.”}，{”key“：”e_1_i_1_4_1“，”volume-title“：”OSDI“，”author“：”TVM“，”year“：”2018“，”unstructure“：“TVM：用于深度学习的自动化端到端优化编译器。加州卡尔斯巴德OSDI，2018年。USENIX协会。TVM：深度学习的自动端到端最优化编译器。加州卡尔斯巴德，2018年OSDI。USENIX协会。“}，{”key“：”e_1_1_5_1“，”首页“：”265“，”volume-title“：”OSDI“，”卷“：”16“，”author“：”Abadi Mart\u00edn“，”year“：”2016“，”unstructured“：”Mart\u00edn Abadi、Paul Barham、Chen Jianmin、Chen Zifeng、Andy Davis、Jeffrey Dean、Matthieu Devin、Sanjay Ghemawat、Geoffrey Irving、Michael Isard，《大型机器学习系统》。在OSDI中，第16卷，第265-283页，2016年。Mart\u00edn Abadi、Paul Barham、陈建民、陈志峰、Andy Davis、Jeffrey Dean、Matthieu Devin、Sanjay Ghemawat、Geoffrey Irving、Michael Isard等人。TensorFlow：大规模机器学习系统。在OSDI中，第16卷，第265--283页，2016年。非结构化“：”秋叶拓哉、铃木舒吉和福田敬介。超大小批量sgd：15分钟内在imagenet上训练resnet-50。arXiv预印arXiv:1711.043252017。秋叶拓哉、铃木舒吉和福田敬介。超大小批量sgd：15分钟内在imagenet上训练resnet-50。arXiv预印本arXiv:1711.043252017。2318857.2254766“}，{“key”：“e_1_2_1_10_1”，“volume-title”：“神经语言建模的自适应输入表示法。arXiv预印本arXiv:1809.10853”，“author”：“Baevski Alexei”，“年份”：“2018”，“非结构化”：“Alexei Baevski和Michael Auli。神经语言建模的自适应输入表示。arXiv预印本arXiv:1809.108532018。Alexei Baevski和Michael Auli。神经语言建模的自适应输入表示。arXiv预印本arXiv:1809.108532018。”}，｛“key”：“e_1_2_1_11_1”，“volume title”：“深度学习软件框架的比较研究。arXiv预印本arXiv:1511.06435”，“作者”：“Bahrampour Soheil”，“年份”：“2015”，“非结构化”：“Soheil Bahrampour、Naveen Ramakrishnan、Lukas Schott和Mohak Shah。深度学习软件框架的比较研究。arXiv预印本arXiv:1511.06435，2015。Soheil bahrampor、Naveen-Ramakrishnan、Lukas-Schott与Mohak Shah。深层学习软件框架比较研究。arXiv预印本arXiv:1511.064，2015。”}，{“key”：“e_1_2_1_12_1”，“volume-title”：“DeepBench:对不同硬件上的深度学习操作进行基准测试。https:\/\/github.com/baidu-research\/DepBench”，“年份”：“2017”，“非结构化”：“Baidu。DeepBench：在不同硬件上进行深度学习操作的标杆。https:\/\/github.com\/Baidu research\/DeepBench，2017.Baidu。DeepBench：在不同硬件上进行深度学习操作的标杆。https:\/\/github.com\/Baidu research\/DeepBench，2017.”}，{“key”：“e_1_2_1_13_1”，“volume title”：“什么是机器学习中的不足和过拟合以及如何处理”，“author”：“Bhande Anup”，“year”：“2018”，“unstructured”：“Anup Bhande.机器学习中什么是不足和过度拟合，以及如何处理，2018。Anup Bande.机器学习中，什么是不足拟合和过度拟合以及如何应对，2018。”}，{“key”：“e_1_2_1_14_1”，“volume-title”：“使ncf反映生产使用情况”，“author”：“Bittorf Victor“，“year”：“2019”，“unstructured”：“Victor Bittorf.Making ncf反映生产使用情况，2019：“Microsoft推出实时人工智能项目Brainwave。Microsoft Research”，“author”：“Burger Doug”，“year”：“2017”，“unstructured”：“Doug Burger。Microsoft推出实时AI项目Brainwave。Microsoft研究院，2017年22月。Doug伯格。Microsoft推出即时人工智能项目Brainwave，Microsoft Research2017年22日。”，“journal-title”：“Microsoft”}，{“key”：“e_1_2_1_16_1”，“doi-asserted-by”：“publisher”，”doi“：“10.1145\/3084447”}、{“密钥”：“e_1_2_1_17_1”、“卷时间”：“用于测量统计语言建模进展的十亿字基准。arXiv预印本arXiv:1312.3005”，，“作者”：“Chelba Ciprian”，“年份”：“2013”，“非结构化”:“Ciprian Chelba、Tomas Mikolov、Mike Schuster、Qi Ge、Thorsten Brants、Phillipp Koehn和Tony Robinson。统计语言建模进展的十亿字基准。arXiv预印本arXiv:1312.3005，2013年。Ciprian Chelba、Thomas Mikolov:Mike Schuster、Qi Ge、Thorsten Brants:Phillip Koehn.和Tony Rosinson。一比尔用于测量统计语言建模进度的lion word基准。arXiv预印本arXiv:1312.3005，2013.“}，{“key”：“e_1_2_1_18_1”，“volume-title”：“Mxnet：异构分布式系统的灵活高效的机器学习库。arXiv preprint arXiv:1512.01274”，“author”：“Chen Tianqi”，“year”：“2015”，“unstructured”：“陈田琪、穆莉、李玉田、林敏、王乃燕、王敏杰、肖天军、徐冰、张驰元和张政。Mxnet：用于异构分布式系统的灵活高效的机器学习库。arXiv预印arXiv:1512.012742015。陈田琪、穆莉、李玉田、林敏、王乃燕、王敏杰、肖天军、徐冰、张驰元和张政。Mxnet：用于异构分布式系统的灵活高效的机器学习库。arXiv预印本arXiv:1512.012742015.“}，{“key”：“e_1_2_1_19_1”，“volume-title”：“cuDNN:深度学习的高效基本体。arXiv preprint arXiv:1410.0759”，“author”：“Chetlur Sharan”，“year”：“2014”，“unstructured”：“Sharan Chetlur、Cliff Woolley、Philippe Vandermersch、Jonathan Cohen、John Tran、Bryan Catanzaro和Evan Shelhamer。cuDNN：深度学习的高效原件。arXiv预印arXiv:1410.07592014。Sharan Chetlur、Cliff Woolley、Philippe Vandermersch、Jonathan Cohen、John Tran、Bryan Catanzaro和Evan Shelhamer。cuDNN：深度学习的高效原件。arXiv预印本arXiv:1410.07592014.“}，{”key“：”e_1_2_1_20_1“，”首页“：”571“，”volume-title“：”OSDI“，”卷“：”14“，”author“：”Chilimbi Trishul M“，”年份“：”2014“，”非结构化“：”Trishul M Chilimbi、Yutaka Suzue、Johnson Apacible和Karthik Kalyanaraman。亚当项目：构建高效、可扩展的深度学习培训系统。OSDI，第14卷，第571-582页，2014年。Trishul M Chilimbi、Yutaka Suzue、Johnson Apacible和Karthik Kalyanaraman。亚当项目：构建高效、可扩展的深度学习培训系统。在OSDI，第14卷，第571页至第582页，2014年。”}，{“密钥”：“e_1_2_1_21_1”，“卷标题”：“九月”，“作者”：“Chintala Soumith”，“年份”：“2017”，“非结构化”：“索米斯·钦塔拉。Convent-Benchmarks：对所有公共可访问的Convents实现进行简单的基准测试。https:\/\/github。2017年9月，com/soumith\/convent-benchmarks。索米斯·钦塔拉。Convent-Benchmarks：对所有公共可访问的Convents实现进行简单的基准测试。https:\/\/github。com/soumith\/convent-benchmarks，2017年9月。“}，{“key”：“e_1_2_1_22_1”，“volume-title”：“Matei Zaharia.DAWNBench:一个端到端的深度学习基准和竞争。NIPS ML系统研讨会”，“author”：“Coleman Cody”，“year”：“2017”，“unstructured”：“Cody Coleman、Deepak Narayanan、Daniel Kang、Tian Zhao、Jian Zhang、Luigi Nardi、Peter Bailis、Kunle Olukotun、Chris R\u00e9和Matei Zaharia。DAWNBench:端到端深度学习基准和竞争。NIPS ML系统研讨会，2017年。Cody Coleman、Deepak Narayanan、Daniel Kang、Tian Zhao、Jian Zhang、Luigi Nardi、Peter Bailis、Kunle Olukotun、Chris R\u00e9和Matei Zaharia。《DAWNBench:端到端的深度学习基准和竞争》。NIPS ML系统研讨会，2017年。“}，{”key“：”e_1_2_1_23_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/3079856.3080248”}，“key”：“e_1_i_1_24_1”，“volume-title”：“高精度低精度培训。arXiv预印本arXiv:1803.03383”，“author”：“Sa Christopher De”，“年份”：“2018”，“非结构化”：“Christopher De Sa、Megan Leszczynski、Jian Zhang、Alana Marzoev、Christopher R Aberger、Kunle Olukotun和Christopher R\u00e9。高精度低精度训练。arXiv预印arXiv:1803.033832018。克里斯托弗·德萨（Christopher De Sa）、梅根·莱斯琴斯基（Megan Leszczynski）、张健（Jian Zhang）、阿兰娜·马尔佐夫（Alana Marzoev）、克里斯托弗·阿贝格尔（Christopor R Aberger）、库勒·奥卢科顿（Kunle Olukotun）和克里斯托弗·布鲁00e9。高精度低精度训练。arXiv预印本arXiv:1803.033832018。“}，{“key”：“e_1_2_1_25_1”，“volume-title”：“NIPS”，“author”：“Dean Jeffrey”，“year”：“2012”，“unstructured”：“Jeffrey Dean、Greg Corrado、Rajat Monga、Kai Chen、Matthieu Devin、Mark Mao、Andrew Senior、Paul Tucker、Ke Yang、Quoc V Le、大型分布式深网络。NIPS，2012年。Jeffrey Dean、Greg Corrado、Rajat Monga、Kai Chen、Matthieu Devin、Mark Mao、Andrew Senior、Paul Tucker、Ke Yang、Quoc V Le等。大型分布式深网络。在NIPS，2012.“}，{”key“：”e_1_1_26_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/CVPR.2009.5206848”}，“key”：“e_1_i_1_27_1”，“doi-assert-by”：“publisher”，”doi“：”10.1145\/3224419“}”，{“key“:”e_2_1_28_1“、”首页“：”315“，”volume-title“：”AISTATS“，”author“：”Gloriot Xavier“，“年份”：“2011年”，“非结构化”：“泽维尔·格洛特、安托万·博德斯和约舒亚·本吉奥。深度稀疏整流器神经网络。AISTATS，第315-3232011页。泽维尔·格洛特、安托万·博德斯和约舒亚·本吉奥。深度稀疏整流器神经网络。在AISTATS中，第315-323页，2011年。“}，{“key”：“e_1_2_1_29_1”，“volume-title”：“深度学习”，“author”：“Goodfellow Ian”，“year”：“2016”，“unstructured”：“Ian Goodfelow，Yoshua Bengio和Aaron Courville。深度学习。麻省理工学院出版社，2016年volume-title“：”https:\/\/www.tensorflow.org\/performance\/bequicks“，”author“：”benchmarks tensorflow“，”year“：”2017“，”unstructured“：”Google“。TensorFlow基准。https:\/\/www.tensorflow.org\/performance\/基准测试，2017年。谷歌。TensorFlow基准。https:\/\/www.tensorflow.org\/performance\/bequicks，2017.“}，{“key”：“e_1_2_1_31_1”，“volume-title”：“Large Minibatch SGD:Training ImageNet in 1 hour.arXiv preprint arXiv:1706.02677”，“author”：“Goyal Priya”，《年份》：“2017”，“非结构化”：“Priya Goyal、Piotr Doll\u00e1r、Ross Girshick、Pieter Noordhuis、Lukasz Wesolowski、Aapo Kyrola、Andrew Tulloch、Yangqing Jia和Kaiming He。精确、大型小批量SGD：1小时内训练ImageNet。arXiv预印arXiv:1706.026772017。Priya Goyal、Piotr Doll\u00e1r、Ross Girshick、Pieter Noordhuis、Lukasz Wesolowski、Aapo Kyrola、Andrew Tulloch、Yangqing Jia和Kaiming He。精确的大型小批量SGD：在1小时内训练ImageNet。arXiv预打印arXiv:1706.026772017.“}，{”key“：”e_1_1_32_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/2987550.2987554”}，“key”：“e_1_i_1_33_1”，“volume-title”：“SqueezeNet:AlexNet级精度，参数少50倍，模型大小小于0.5 MB。arXiv preprint arXiv:1602.07360“，”author“：”Iandola Forrest N“，”年份“：”2016“，”非结构化“：”Forrest N Iandola、Song Han、Matthew W Moskewicz、Khalid Ashraf、William J Dally和Kurt Keutzer。SqueezeNet:AlexNet级精度，参数少50倍，模型大小小于0.5 MB。arXiv预印arXiv:1602.073602016。Forrest N Iandola、Song Han、Matthew W Moskewicz、Khalid Ashraf、William J Dally和Kurt Keutzer。SqueezeNet:AlexNet级精度，参数少50倍，模型大小小于0.5 MB。arXiv预印本arXiv:1602.07360，2016。“}，{“key”：“e_1_1_34_1”，“volume-title”：“Bigdl:apache spark的分布式深度学习库”，“year”：“2019”，“unstructured”：“Intel.Bigdl:apache spark的分布深度学习库，2019。Intel.Bigdl:apache spart的分布式深度教学库，2019.”}，}，[key“：”e_2_1_35_1“，”volume-title”：“批量规范化：通过减少内部协变量偏移来加速深层网络训练。arXiv预印本arXiv:1502.03167”，“作者”：“Ioffe Sergey”，“年份”：“2015”，“非结构化”：“Sergey Ioffe和Christian Szegedy。批量规范化：通过减少内部协变量偏移来加速深层网络培训。arXiv预印arXiv:1502.031672015。谢尔盖·洛夫和克里斯蒂安·塞格迪。批量归一化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv:1502.031672015.“}，{”key“：”e_1_2_1_36_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/2647868.2654889”}，“key”：“e_1_i_1_37_1”，“volume-title”：“SysML”，”author“：”Jia Zhihao“，”year“：”2019“，”unstructured“：”贾志浩（Zhihao Jia）、马泰·扎哈里亚（Matei Zaharia）和亚历克斯·艾肯（Alex Aiken）。超越深度神经网络的数据和模型并行性。2019年，SysML。贾志浩（Zhihao Jia）、马泰·扎哈里亚（Matei Zaharia）和亚历克斯·艾肯（Alex Aiken）。超越深度神经网络的数据和模型并行性。在SysML，2019年。“}，{”key“：”e_1_2_1_38_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/3079856.3080246”}，“key”：“e_1_i_1_39_1”，“volume-title”：“探索语言建模的极限。arXiv预印本arXiv:1602.02410”，“author”：“Jozefowicz Rafal”，“年份”：“2016”，“非结构化”：“拉斐尔·乔泽福维奇（Rafal Jozefowicz）、奥利奥·维尼亚尔斯（Oriol Vinyals）、迈克·舒斯特（Mike Schuster）、诺姆·沙泽尔（Noam Shazeer）和吴永辉（Yonghui Wu）。探索语言建模的局限性。arXiv预印arXiv:1602.02412016。拉斐尔·乔泽福维奇（Rafal Jozefowicz）、奥利奥·维尼亚尔斯（Oriol Vinyals）、迈克·舒斯特（Mike Schuster）、诺姆·沙泽尔（Noam Shazeer）和吴永辉（Yonghui Wu）。探索语言建模的局限性。arXiv预印本arXiv:1602.02410，2016。“}，{“key”：“e_1_2_1_40_1”，“volume-title”：“GAN的逐步增长以提高质量、稳定性和变异性。arXiv预先印本arXiv:1710.10196”，“author”：“Karras Tero”，“year”：“2017”，“unstructured”：“Tero Karras、Timo Aila、Samuli Laine和Jaakko Lehtinen。GAN的逐步生长以提高质量、稳定性和变异性。arXiv预印arXiv:1710.101962017。Tero Karras、Timo Aila、Samuli Laine和Jaakko Lehtinen。GAN的逐步生长以提高质量、稳定性和变异性。arXiv预印本arXiv:1710.101962017。“}，{”key“：”e_1_1_41_1“，”volume-title“：”ICLR“，“author”：”Kingma Diederik P“，”year“：”2015“，”unstructured“：”Diederik P Kingma and Jimmy Ba。Adam:A Method for Stochastic Optimization。ICLR，2015。Diederik-P Kingma and Jimmi Ba。亚当：随机优化方法。ICLR.“}”，{“key”：“e_2_1_42_1”，“”doi-asserted-by“：”publisher“，”doi“：”10.5555\/2685048.2685095“}，{“key”：“e_1_2_1_43_1”，“first page”：”3“，”volume-title“：”Kyong Mu Lee.增强的单图像超分辨率深度残余网络。在CVPR Workshops中，“volume”：：“1”，“author”：“Lim Bee”，“year”：“2017”，“unstructured”：“Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。用于单图像超分辨率的增强深度剩余网络。CVPR研讨会，第1卷，第3页，2017年。Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah和Kyoung Mu Lee。用于单图像超分辨率的增强深度残差网络。CVPR研讨会，第1卷，第3页，2017年。“}，{”key“：”e_1_2_1_44_1“，”volume-title“：”ICLR“，“author”：“Lin Yujun”，“year”：“2018”，“unstructured”：“林育君、宋汉、毛慧子、王瑜和比尔·戴利。深度梯度压缩：减少分布式训练的通信带宽。ICLR，2018年。林育君、宋汉、毛慧子、王瑜和比尔·戴利。深度梯度压缩：减少分布式训练的通信带宽。在ICLR，2018年。“}，{“key”：“e_1_2_1_45_1”，“volume-title”：“Erwin Laure，Ivy Bo Peng，and Jeffrey S Vetter.Nvidia张量核心可编程性、性能和精度。arXiv预印本arXiv:1803.04014”，“author”：“Markidis Stefano”，“year”：“2018”，“unstructured”：“斯特凡诺·马基迪斯（Stefano Markidis）、史蒂文·魏德建（Steven Wei Der Chien）、埃尔文·劳尔（Erwin Laure）、常春藤·博·彭（Ivy Bo Peng）和杰弗里·斯维特（Jeffrey S Vetter）。英伟达张量核心的可编程性、性能和精度。arXiv预印arXiv:1803.040142018。斯特凡诺·马基迪斯（Stefano Markidis）、史蒂文·魏德建（Steven Wei Der Chien）、埃尔文·劳尔（Erwin Laure）、常春藤·博·彭（Ivy Bo Peng）和杰弗里·斯维特（Jeffrey S Vetter）。Nvidia张量核心可编程性、性能和精度。arXiv预印本arXiv:1803.040142018.“｝，｛“key”：“e_1_2_1_46_1”，“volume title”：“重新审视深度神经网络的小批量训练。arXiv预印本arXiv:1804.07612”，“author”：“Masters Dominic”，“year”：“2018”，“nonstructured”：“多米尼克·马斯特斯和卡洛·卢斯基。重温深度神经网络的小批量训练。arXiv预印arXiv:1804.07612018。多米尼克·马斯特斯和卡洛·卢斯基。重温深度神经网络的小批量训练。arXiv预印本arXiv:1804.07612，2018。“}，{“key”：“e_1_2_1_47_1”，“volume-title”：“大背训练的经验模型。arXiv预先印本arXiv:1812.06162”，“author”：“McCandlish Sam”，《year》：“2018”，“unstructured”：“Sam McCandish、Jared Kaplan、Dario Amodei和Open AI Dota团队。大幅度训练的经验模型。arXiv预印arXiv:1812.061622018。Sam McCandish、Jared Kaplan、Dario Amodei和OpenAI Dota团队。大幅度训练的经验模型。arXiv预印本arXiv:1812.061622018。“}，{“key”：“e_1_2_1_48_1”，“volume-title”：“混合精度训练。arXiv preprint arXiv:1710.03740”，“author”：“Micikevicius Paulius”，“year”：“2017”，“unstructured”：“保利乌斯·米基基维希乌斯（Paulius Micikevicius）、莎兰·纳朗（Sharan Narang）、乔纳·阿尔本（Jonah Alben）、格雷戈里·迪亚莫斯（Gregory Diamos）、埃里希·埃尔森（Erich Elsen）、大卫·加西亚（David Garcia）、鲍里斯·金斯堡（Boris Ginsburg）、迈克尔·休斯顿（Michael Houston）、奥列克西·库查耶夫（Oleksii Kuchaev）、加内什·文卡泰什（Ganesh Venkatesh）、混合精准训练（Mixen Precision Training）。arXiv预印arXiv:1710.037402017。Paulius Micikevicius、Sharan Narang、Jonah Alben、Gregory Diamos、Erich Elsen、David Garcia、Boris Ginsburg、Michael Houston、Oleksii Kuchaev、Ganesh Venkatesh等。混合精准训练。arXiv预印本arXiv:1710.037402017.“}，{”key“：”e_1_1_49_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1109\/ALLERTON.2016.7852343”}，“key”：“e_2_1_50_1”，“首页”：“807”，“卷标签”：“ICML”，”author“：”Nair Vinod“，”年份：“2010”，“非结构化”：“维诺德·奈尔和杰弗里·欣顿。整流线性单元改善了受限的玻尔兹曼机器。在ICML中，第807-814页，2010年。维诺德·奈尔和杰弗里·欣顿。整流线性单元改善了受限的玻尔兹曼机器。在ICML中，第807--814页，2010年。“}，{”key“：”e_1_2_1_51_1“，”first page“：“693”，”volume-title“：”NIPS“，”author“：”牛峰“，”year“：”2011“，”unstructured“：”Feng Niu、Benjamin Recht、Christopher Re和Stephen Wright。Hogwild：一种并行化随机梯度下降的无锁方法。在NIPS中，第693-7011页。Feng Niu、Benjamin Recht、Christopher Re和Stephen Wright。Hogwild：一种并行化随机梯度下降的无锁方法。在NIPS中，第693--7012011页。“}，{“key”：“e_1_2_1_52_1”，“volume-title”：“pytorch中的自动区分”，“author”：“Paszke Adam”，“year”：“2017”，“unstructured”：“Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动区分。2017 . Adam Paszke、Sam Gross、Soumith Chintala、Gregory Chanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动区分。2017.“｝，｛”键“：”e_1_2_1_53_1“，”卷标题“：”低功耗机器人应用程序“，”作者“：”Pena Dexmont“，”年份“：”2017“，”非结构化“：”Dexmont Pena、Andrew Forembski、X小凡和David Moloney。低成本、低功耗机器人应用CNN的基准测试。2017 . Dexmont Pena、Andrew Forembski、Xiaofan Xu和David Moloney。低成本、低功耗机器人应用CNN的基准测试。2017.“}，{”key“：”e_1_1_54_1“，”volume-title“：”图像分类器体系结构搜索的规则化进化。arXiv预印本arXiv:1802.01548“，”author“：”Real Esteban“，“year”：“2018”，“unstructured”：“Esteban Real、Alok Aggarwal、Yanping Huang和Quoc V Le。图像分类器体系结构搜索的正则化进化。arXiv预印arXiv:1802.015482018。Esteban Real、Alok Aggarwal、Yanping Huang和Quoc V Le。图像分类器体系结构搜索的正则化进化。arXiv预印本arXiv:1802.015482018。“}，{“key”：“e_1_2_1_55_1”，“volume-title”：“CIFAR-10分类器泛化为CIFAR-10吗？CoRR，abs\/1806.00451”，“author”：“Recht Benjamin”，“year”：“2018”，“unstructured”：“Benjamin Recht，Rebecca Roelofs，Ludwig Schmidt，and Vaishaal Shankar。CIFAR-0分类器泛化成CIFAR--10吗？CoRR，abs\/1806.004512018年。本杰明·雷奇特（Benjamin Recht）、丽贝卡·罗洛夫斯（Rebecca Roelofs）、路德维希·施密特（Ludwig Schmidt）和维沙尔·尚卡尔（Vaishaal Shankar）。CIFAR-10分类器是否概括为CIFAR-10？CoRR，abs \/1806.00451，2018。“}，{“key”：“e_1_2_1_56_1”，“首页”：“400”，“volume-title”：“随机近似方法。数理统计年鉴”，“作者”：“Robbins Herbert”，“年份”：“1951”，“非结构化”：“赫伯特·罗宾斯和萨顿·蒙罗。一种随机近似方法。《数理统计年鉴》，第400-407页，1951年。赫伯特·罗宾斯和萨顿·蒙罗。一种随机近似方法。《数理统计年鉴》，第400-407页，1951年。“}，{“key”：“e_1_2_1_57_1”，“volume-title”：“Horovod：张量流中快速且容易的分布式深度学习。arXiv预印本arXiv:1802.05799”，“author”：“Sergeev Alexander”，《year》：“2018”，“unstructured”：“亚历山大·谢尔盖夫和迈克·德尔·巴尔索。Horovod：在张量流中快速且容易的分布式深度学习。arXiv预印arXiv:1802.057992018。亚历山大·谢尔盖夫和迈克·德尔·巴尔索。Horovod：在张量流中快速且容易的分布式深度学习。arXiv预印本arXiv:1802.057992018。“}，{“key”：“e_1_2_1_58_1”，“volume-title”：“云计算与大数据（CCBD）”，“author”：“石绍怀”，“year”：“2016”，“unstructured”：“石绍怀，王强，徐鹏飞，朱晓文。标杆先进的深度学习软件工具。在云计算和大数据（CCBD）中 . IEEE，2016年。史绍怀、王强、徐鹏飞和朱晓文。标杆管理先进的深度学习软件工具。云计算和大数据（CCBD）。IEEE，2016.“}，{”key“：”e_1_2_1_59_1“，”volume-title“：”不要降低学习速度，增加批量大小。arXiv预印本arXiv:1711.00489“，”author“：”Smith Samuel L“，”year“：”2017“，”unstructured“：”Samuel L Smith、Pieter-Jan Kindermans和Quoc V Le。不要降低学习速度，增加批量大小。arXiv预印arXiv:1711.004892017。Samuel L Smith、Pieter-Jan Kindermans和Quoc V Le。不要降低学习率，增加批量。arXiv预印本arXiv:1711.00489，2017。“}，{“key”：“e_1_2_1_60_1”，“首页”：“604”，“卷时间”：“ICML”、“作者”：“Sohl-Dickstein Jascha”，“年份”：“2014”，“非结构化”：“贾沙·索尔·迪克斯坦（Jascha Sohl-Dickstein）、本·普尔（Ben Poole）和苏里亚·甘古利（Surya Ganguli）。统一随机梯度和拟牛顿法的快速大规模优化。在ICML中，第604页至第612页，2014年。贾沙·索尔·迪克斯坦（Jascha Sohl-Dickstein）、本·普尔（Ben Poole）和苏里亚·甘古利（Surya Ganguli）。统一随机梯度和拟牛顿法的快速大规模优化。在ICML中，第604-612页，2014年。“}，{“key”：“e_1_2_1_61_1”，“volume-title”：“重新审视深度学习时代数据的不合理有效性。CoRR，abs\/1707.02968”，“author”：“Sun Chen”，“year”：“2017”，“unstructured”：“Chen Sun、Abhinav Shrivastava、Saurabh Singh和Abhinav-Gupta。重新审视深度学习时代数据的不合理有效性。CoRR，abs \/1707.029682017年。Chen Sun、Abhinav Shrivastava、Saurabh Singh和Abhinav-Gupta。重新审视深度学习时代数据的不合理有效性。CoRR，abs\/1707.02968，2017。“}，{“key”：“e_1_2_1_62_1”，“首页”：“1139”，“volume-title”：“ICML”，《作者》：“Sutskever Ilya”，“年份”：“2013”，“非结构化”：“伊利亚·萨茨克弗（Ilya Sutskever）、詹姆斯·马滕斯（James Martens）、乔治·达尔（George Dahl）和杰弗里·辛顿（Geoffrey Hinton）。关于深度学习中初始化和动量的重要性。在ICML中，第1139--1147页，2013年。伊利亚·萨茨克弗（Ilya Sutskever）、詹姆斯·马滕斯（James Martens）、乔治·达尔（George Dahl）和杰弗里·辛顿（Geoffrey Hinton）。关于深度学习中初始化和动量的重要性。在ICML中，第1139--1147页，2013年。“}，{”key“：”e_1_1_63_1“，”doi-asserted-by“：”publisher“，“doi”：“10.1145\/1498765.1498785”}，“key”：“e_2_1_64_1”，“first page”：”4148“，”volume-title“：”NIPS“，”author“：”Wilson Ashia C“，”year“：”2017“，”unstructured“：”阿西娅·威尔逊（Ashia C Wilson）、丽贝卡·罗洛夫斯（Rebecca Roelofs）、米切尔·斯特恩（Mitchell Stern）、纳蒂·斯雷布罗（Nati Srebro）和本杰明·雷希特（Benjamin Recht）。机器学习中自适应梯度方法的边际值。在NIPS中，第4148-4158页，2017年。阿西娅·威尔逊（Ashia C Wilson）、丽贝卡·罗洛夫斯（Rebecca Roelofs）、米切尔·斯特恩（Mitchell Stern）、纳蒂·斯雷布罗（Nati Srebro）和本杰明·雷希特（Benjamin Recht）。机器学习中自适应梯度方法的边际值。在NIPS中，第4148-4158页，2017年。v预打印arXiv:1803.06905“，”作者：“朱宏宇”，“年份”：“2018年”，“非结构化”：“朱洪宇、穆罕默德·阿克鲁特、郑波坚、安德鲁·佩莱格里斯、阿马尔·法尼沙耶、比安卡·施罗德和根纳迪·佩基蒙科。Tbd：深度神经网络训练的基准测试和分析。arXiv预印arXiv:1803.069052018。朱洪宇、穆罕默德·阿克鲁特、郑博健、安德鲁·佩莱格里斯、阿马尔·法尼沙耶、比安卡·施罗德和根纳迪·佩希缅科。Tbd：深度神经网络训练的基准测试和分析。arXiv-print arXiv:1803.069052018。“}]，“container-title”：[“ACM SIGOPS Operating Systems Review”]，“original-title“：[]，“language”：“en”，“link”：[{“URL”：“https:\\/dl.ACM.org\/doi\/pdf\/10.1145\/3352020.3352024”，“content-type”：“unspecified”，“content-version”：“vor”，“intended-application”：“similarity-checking”}，“deposed”：{“date”部分“：[[2023,1,1]]，”date-time“：”2023-01-01T06:39:28Z“，”timestamp“：1672555168000}，”score“：1，”resource“：{主要”：{“URL”：“https:\/\/dl.acm.org\/doi\/10.1145\/3352020.3352024”}}，“副标题”：[]，“短标题”：[]，“已发布”：{-“日期-部分”：[[2019,7,25]]}，‘参考计数’：67，‘日志发布’：{‘发布’：“1”，“published-print“：{“date-parts”：[[2019,7,25]]}}，“alternative-id”：[“10.1145\/3352020.3352024“]，“URL”：“http://\/dx.doi.org\/10.1145\/3352020.3352024”，“关系”：{}，“ISSN”：[“0163-5980”]，“ISSN-type”：[{“值”：“0163-50980”，“类型”：“打印”}]，“主题”：[]，“发布”：{“日期部分”：[[2019,7,25]]}，：2，“name”：“published”，“label”：“published”，“group”：{“name”:“publication_history”，“标签“：”出版物历史“}}]}}