基于熵的词汇替换在多语言神经机器翻译增量学习中的应用

黄凯宇,彭丽,金马,杨柳

摘要
在实际的真实场景中，长期的目标是当新的语言对到达时，通用多语言翻译模型可以增量更新。具体来说，初始词汇表只涵盖了新语言中的一些单词，这会影响增量学习的翻译质量。尽管现有的方法试图通过用重建的词汇替换原始词汇或构建独立的特定语言词汇来解决这个问题，但这些方法不能同时满足以下三个要求：（1）原始语言和增量语言的高翻译质量；（2）模型训练成本低，（3）预处理时间开销小。在这项工作中，我们提出了一种基于熵的词汇替换（EVS）方法，该方法只需要遍历新的语言对，以便在大规模多语言数据更新中进行增量学习，同时保持词汇的大小。我们的方法可以从更新的训练样本中逐步学习新知识，同时保持原始语言对的高翻译质量，缓解灾难性遗忘的问题。实验结果表明，在多语言机器翻译任务中，EVS可以获得更好的性能，并节省增量学习的额外开销。
选集ID：
2022.emnlp-main.720年
原件：
2022.emnlp-main.720v1
版本2:
2022.emnlp-main.720v2
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德伯格,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
10537–10550
语言：
网址：
https://aclantology.org/2022.emnlp-main.720
内政部：
10.18653/v1/2022.emnlp-main.720
比比键：
引用（ACL）：
黄凯玉、李鹏、金马、杨柳。2022基于熵的词汇替换在多语言神经机器翻译增量学习中的应用.英寸2022年自然语言处理实证方法会议记录，第10537-10550页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
基于熵的词汇替换在多语言神经机器翻译增量学习中的应用（Huang等人，EMNLP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.emnlp-main.720.pdf
PDF格式（第2版） PDF格式（第1版） 引用 搜索