计算机工程与应用››2018,第54卷››问题(2): 137-143.内政部:10.3778/j.issn.1002-8331.1608-0069

模式识别与人工智能 • 上一篇   下一篇

基于输入分片扰乱的英国石油公司MapReduce

陈旺虎,俞茂义,马生俊  

  1. 西北师范大学 计算机科学与工程学院,兰州 730070
  • 出版日期:2018-01-15 发布日期:2018-01-31

基于样本数据切片中断的MapReduce BP神经网络训练

陈望虎、于茂义、马胜军  

  1. 西北师范大学计算机科学与工程学院,兰州730070
  • 在线:2018-01-15 出版:2018-01-31

摘要:BP地图训练任务产生的中间权阵只对该训练节点上的输入分片收敛,为提高英国石油公司神经网络的训练效率,保证MapReduce训练的全局收敛性,提出一种基于输入分片扰乱的MapReduce训练方法。通过对训练样本集进行系统抽样来扰乱输入分片,并产生新的输入分片,依靠新的输入分片以地图任务的原权阵为基础进行迭代训练,可加速MapReduce训练达到收敛的进程;为提高地图训练任务的局部收敛速度,在每轮次的训练完成后,选取地图任务产生的权阵中全局误差最小者,作为下轮次各地图训练任务的初始权阵。在Hadoop公司集群上的实验表明,该方法可使MapReduce英国石油公司神经网络的效率得到很大提升。

关键词: 神经网络, MapReduce、, 输入分片, 收敛

摘要:在使用MapReduce对BP神经网络进行训练的过程中,它与当前中间权重矩阵的收敛性是通过特定地图任务节点上的样本数据切片得到的。因此,BP网络很难收敛到整个训练样本集。提出了一种基于样本切片中断的MapReduce训练BP网络的方法。在对整个训练样本数据进行系统采样的基础上,可以为每个训练图任务生成新的输入切片。这些示例切片用于特定的地图任务,作为未来培训中的新输入。此外,为了加快地图训练任务的局部收敛,在未来的训练中,将全局误差最小的中间矩阵作为初始权值矩阵。在Hadoop集群上的实验结果表明,该方法可以提高使用MapReduce进行BP神经网络训练的效率。

关键词: 神经网络, MapReduce、, 样本切片, 汇聚