用于单词表示和语言建模的构词形态学

摘要

本文提出了一种可扩展的方法，将组合形态表示集成到基于向量的概率语言模型中。我们的方法是在对数双线性语言模型的上下文中进行评估的，通过分解词汇表，使其在机器翻译解码器中的实现具有适当的效率。我们进行了内部和外部评估，给出了一系列语言的结果，表明我们的模型学习的形态学表示在单词相似性任务中都表现良好，并大大减少了困惑。当用于翻译成具有大量词汇的形态丰富的语言时，我们的模型相对于使用回退n-gram模型的基线系统获得了高达1.2个BLEU点的改进。