用于机器翻译的记忆增强神经网络

2019年工作周 · 马克·科利尔, 乔兰·贝尔 ·

记忆增强神经网络（MANN）在一系列人工序列学习任务中表现出优于其他递归神经网络结构的性能，但它们在实际任务中的应用有限。我们评估了神经图灵机（NTM）和可微神经计算机（DNC）在机器翻译中的直接应用。我们进一步提出并评估了两个模型，这两个模型利用记忆增强神经网络的功能扩展了注意力编码-解码器。我们对IWSLT越南语到英语和ACL罗马尼亚语到英语数据集的拟议模型进行了评估。我们提出的模型和记忆增强神经网络在越南语到英语翻译任务中的表现类似于注意编码-解码器，而在罗马尼亚语到英语的任务中，BLEU分数低0.3-1.9。有趣的是，我们的分析表明，尽管具有额外的灵活性和随机初始化的记忆增强神经网络学习的机器翻译算法几乎与注意型编码器-解码器相同。