拜滕特

线性时间的神经机器翻译。我们提出了一种新的神经网络用于处理序列。BYTENT是一维卷积神经网络，它由两部分组成，一个是对源序列进行编码，另一个是对目标序列进行解码。两个网络部分通过在编码器的顶部堆叠解码器并保持序列的时间分辨率来连接。为了解决源和目标的不同长度，我们引入了一种有效的机制，通过该机制，解码器在编码器的表示上动态展开。BytTET使用卷积层中的扩张来增加其接收场。所得到的网络具有两个核心属性：它在时间上运行，在序列的长度上是线性的，它回避了过度记忆的需要。ByteNet译码器在字符级语言建模上达到了最先进的性能，并且优于以前用递归网络获得的最佳结果。ByteNet在英语到德语WMT翻译任务上也完成了字符到机器翻译的最先进的性能，超过了基于注意集中的递归网络和以二次时间运行的可比较的神经翻译模型。我们发现，包含在表示中的潜在对齐结构反映了令牌之间的预期对齐。