软件搜索-zbMATH Open

特恩格拉德

swMATH ID:	22206
软件作者：	魏文、丛旭、冯燕、吴春鹏、王燕丹、陈依然、海丽
描述：	TernGrad：减少分布式深度学习中交流的三级梯度。同步梯度和参数的高网络通信成本是分布式训练的众所周知的瓶颈。在这项工作中，我们提出了TernGrad，它使用三元梯度来加速数据并行中的分布式深度学习。我们的方法只需要三个数值级别｛-1，0，1｝，这可以大大减少通信时间。在梯度有界的假设下，我们用数学方法证明了TernGrad的收敛性。在边界的指导下，我们提出了分层标准化和梯度裁剪来提高其收敛性。我们的实验表明，在AlexNet上应用TernGrad不会造成任何精度损失，甚至可以提高精度。TernGrad导致GoogLeNet的精度损失小于2
主页：	https://github.com/wenwei202/terngrad网站
源代码：	https://github.com/wenwei202/terngrad
关键词：	学习;arXiv公司。LG公司;分布式;平行;和集群计算;arXiv公司。直流;神经与进化计算;arXiv公司。氖;arXiv公司;深度学习;三元梯度
相关软件：	HOGWILD公司;TensorFlow公司;传奇;脚手架;ImageNet公司;CIFAR公司;Wasserstein甘;GeoMF公司;mpi4py;CNTK公司;宠物4py;AIDE公司;伦敦银行支持向量机;NSGA-II公司;XNOR-网络;二进制网络;二进制连接;皮莫;亚当;宾州树库
引用于：	7文件