- 出版地点
- “计算语言学协会（ACL）”
- 出版日期
- 01/01/2017
- 研究领域
获取PDF结果表明，增加模型深度可以提高神经网络的质量机器翻译。然而，不同的体系结构变体将增加模型深度已经提出，到目前为止，还没有彻底的比较研究。在这项工作中，我们描述并评估了几种现有的方法在神经机器翻译中引入深度。此外，我们探索小说体系结构变体，包括深度转换RNN，我们改变了方式在深度解码器中使用注意力。我们推出了一款新颖的“BiDeep”RNN结合深度转换RNN和堆叠RNN的体系结构。我们对英语到德语的WMT新闻翻译进行了评估数据集，使用单个GPU机器进行训练和推理。我们发现我们提出的几个架构改进了现有的方法速度和翻译质量。我们通过一个综合深度8的BiDeep RNN，平均改善1.5 BLEU在坚实的浅基线上。我们发布代码是为了便于采用。评论：WMT 2017研究跟踪
- 出版地点
- “电气与电子工程师协会（IEEE）”
- 出版日期
- 16/09/2018
- 研究领域
全文链接最近，深度学习在各种领域都取得了可喜的成果图像识别、自然语言等人工智能应用处理、语言建模、神经机器翻译等一般来说，与经典机器相比，它的计算成本更高学习技巧，他们的结果被发现在一些案例。因此，在本文中，我们调查并比较了学习架构称为深度神经网络（DNN），具有经典恶意软件分类的随机森林（RF）机器学习算法。我们研究了2层、4层和7层经典RF和DNN的性能具有四个不同功能集的体系结构，并发现这与在特征输入中，经典射频精度优于DNN。注释：11页，1图
- 出版地点
- “计算语言学协会（ACL）”
- 出版日期
- 01/01/2017
- 研究领域
获取PDF本文描述了爱丁堡大学提交给WMT17的文件共享新闻翻译和生物医学翻译任务。我们参加了12场比赛新闻翻译指南，英语和捷克语、德语之间的翻译，拉脱维亚语、俄语、土耳其语和汉语。对于我们提交的生物医学任务英语到捷克语、德语、波兰语和罗马尼亚语的系统。我们的系统是用Nematus训练的神经机器翻译系统编码器-解码器。我们遵循去年的设置，构建基于BPE的模型使用并行和回译的单语训练数据。新奇之处年包括使用深层架构、层规范化等由于重量捆绑和BPE细分的改进，模型紧凑。我们进行广泛的烧蚀实验，报告涂层的效果规范化、深层架构和不同的集成技术。评论：WMT 2017共享任务跟踪；有关Biptex，请参见http://homepages.inf.ed.ac.uk/rsenric/bib.html#uedin-最低时速：201
- 出版地点
- 出版日期
- 16/07/2019
- 研究领域
全文链接过去几年，神经机器翻译发展迅速（不适用）。最近，通过先进的建模和训练技术基于RNN的NMT（RNMT）已经显示出其潜在优势，甚至与众所周知的Transformer（自我注意）模型。尽管RNMT模型可以通过堆叠层拥有非常深的结构，过渡深度沿序列轴的连续隐藏状态之间仍然很浅。在本文中，我们通过增加连续隐态之间的跃迁深度和构建新的Deep基于过渡RNN的神经机器翻译体系结构，命名为DTMT。该模型通过多重非线性增强了隐藏到隐藏的转换变换，以及在整个过程中保持线性变换路径这种由精心设计的线性转换机制到缓解梯度消失问题。实验表明特别设计的深度转换模块，我们的DTMT可以实现卓越的提高翻译质量。汉语->英语实验结果翻译任务表明，DTMT可以比Transformer模型好+2.09BLEU得分并在同一数据集中获得有史以来最好的结果。打开WMT14英语->德语和英语->法语翻译任务，DTMT显示质量优于最先进的NMT系统，包括变压器和RNMT+。评论：2019年AAAI接受。代码位于：https://github.com/fandongmeng/DTMT_InD
