改进大规模多语言神经机器翻译和零镜头翻译

张彪,菲利普·威廉姆斯,伊万·蒂托夫,里科·森里奇

摘要
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不如双语模型，并且提供的零快照翻译效果也很差。在本文中，我们探讨了改进它们的方法。我们认为，多语言NMT需要更强的建模能力来支持具有不同类型特征的语言对，并通过特定于语言的组件和深化NMT架构来克服这一瓶颈。我们确定了非目标翻译问题（即翻译成错误的目标语言）是低劣零快照性能的主要来源，并提出了随机在线反译来强制执行看不见的训练语言对的翻译。在OPUS-100（一种具有100种语言的新型多语言数据集）上的实验表明，我们的方法大大缩小了双语模型在一对多和多对多设置下的性能差距，并通过约10个BLEU提高了零快照性能，接近于传统的基于枢轴的方法。
选集ID：
2020.acl-main.148年
体积：
计算语言学协会第58届年会会议记录
月份：
七月
年份：
2020
地址：
在线的
编辑：
丹·朱拉夫斯基,乔伊斯·柴,娜塔莉·施卢特,Joel Tetreault公司
地点：
国际计算语言学协会
SIG公司：
出版商：
计算语言学协会
注：
页：
1628–1639
语言：
网址：
https://aclantology.org/2020.acl-main.148
内政部：
10.18653/v1/2020.acl-main.148
比比键：
引用（ACL）：
张彪（Biao Zhang）、菲利普·威廉姆斯（Philip Williams）、伊万·蒂托夫（Ivan Titov）和里科·森里奇（Rico Sennrich）。2020改进大规模多语言神经机器翻译和零镜头翻译.英寸计算语言学协会第58届年会会议记录，第1628–1639页，在线。计算语言学协会。
引用（非正式）：
改进大规模多语言神经机器翻译和零镜头翻译（Zhang等人，ACL 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.acl-main.148.pdf
视频：
 http://slideslive.com/38929037
代码
bzhangGo/zero+附加社区代码
数据
OPUS-100型
PDF格式 引用 搜索 代码 视频