计算机科学>计算与语言
标题: 低资源多语言神经机器翻译的语言家族适配器
摘要: 经过自我监督训练的大型多语言模型在广泛的自然语言处理任务中取得了最先进的结果。 对于机器翻译,自我监督预处理模型通常对来自一个或多个语言对的并行数据进行微调。 多语言微调可以提高低资源语言的性能,但需要修改整个模型,而且成本可能高得令人望而却步。 在每个语言对上训练一个新的适配器,或者在所有语言对上只训练一个适配器,而不更新预处理模型,这是一种高效的参数选择。 然而,前者不允许语言之间的任何共享,而后者共享所有语言的参数,并且容易受到负面干扰。 在本文中,我们建议在mBART-50之上训练语言家族适配器,以促进跨语言迁移。 我们的方法优于相关基线,从英语翻译到17种不同的低资源语言时,平均翻译分数较高。 我们还表明,语言家族适配器提供了一种有效的方法,可以将其翻译为预训练期间看不到的语言。