简单融合：语言模型的回归

费利克斯·斯塔尔伯格,詹姆斯·克罗斯,韦塞林·斯托亚诺夫

摘要
神经机器翻译（NMT）通常通过反译在训练中利用单语数据。我们研究了另一种使用单语数据进行NMT训练的简单方法：我们将预训练和固定语言模型（LM）的分数与翻译模型（TM）的分数相结合，同时从头开始训练TM。为了实现这一点，我们训练翻译模型来预测添加到LM预测中的训练数据的残差概率。这使得TM能够将其能力集中在源句建模上，因为它可以依赖LM实现流利性。我们表明，我们的方法优于以前将LM集成到NMT的方法，而体系结构更简单，因为它不需要门控网络来平衡TM和LM。我们在所有四个测试集（英语-土耳其语、土耳其-英语、爱沙尼亚-英语、科萨-英语）上观察到，在没有LM的信号群之上，BLEU的增益在+0.24到+2.36之间。我们将我们的方法与其他利用单语数据的方法进行了比较，如反向翻译、浅层融合和冷融合。
选集ID：
W18-6321号
体积：
第三届机器翻译大会论文集：研究论文
月份：
十月
年份：
2018
地址：
比利时布鲁塞尔
编辑：
Ondřej Bojar公司,拉金·查特吉,克里斯蒂安·费德曼,马克·费舍尔,伊维特·格雷厄姆,巴里·哈多,马蒂亚斯·哈克,安东尼奥·吉梅诺·耶佩斯,菲利普·科恩,克里斯托夫·蒙兹,马泰奥·内格里,Aurélie Névéol公司,玛丽亚娜·奈维斯,马特·波斯特,露西娅·斯佩西亚,马可·图尔奇,卡林·弗斯波尔
地点：
WMT公司
SIG公司：
SIGMT公司
发布者：
计算语言学协会
注：
页：
204–211
语言：
网址：
https://aclantology.org/W18-6321
DOI（操作界面）：
10.18653/v1/W18-6321
比比键：
引用（ACL）：
Felix Stahlberg、James Cross和Veselin Stoyanov。2018简单融合：语言模型的回归.英寸第三届机器翻译会议记录：研究论文，第204-211页，比利时布鲁塞尔。计算语言学协会。
引用（非正式）：
简单融合：语言模型的回归（Stahlberg等人，WMT 2018）
复制引文：
PDF格式：
https://aclantology.org/W18-6321.pdf
PDF格式 引用 搜索