摘要:BP地图训练任务产生的中间权阵只对该训练节点上的输入分片收敛,为提高英国石油公司神经网络的训练效率,保证MapReduce训练的全局收敛性,提出一种基于输入分片扰乱的MapReduce训练方法。通过对训练样本集进行系统抽样来扰乱输入分片,并产生新的输入分片,依靠新的输入分片以地图任务的原权阵为基础进行迭代训练,可加速MapReduce训练达到收敛的进程;为提高地图训练任务的局部收敛速度,在每轮次的训练完成后,选取地图任务产生的权阵中全局误差最小者,作为下轮次各地图训练任务的初始权阵。在Hadoop公司集群上的实验表明,该方法可使MapReduce英国石油公司神经网络的效率得到很大提升。
陈旺虎,俞茂义,马生俊. 基于输入分片扰乱的英国石油公司MapReduce[J]。计算机工程与应用, 2018, 54(2): 137-143.
陈望虎,于茂义,马胜军。基于样本数据切片中断的MapReduce训练BP神经网络[J]。计算机工程与应用,2018,54(2):137-143。