计算机科学>计算与语言
标题: 序列到序列模型很难进行结构泛化
摘要: 序列对序列(seq2seq)模型在许多NLP任务中都取得了成功,包括那些需要预测语言结构的任务。 然而,最近关于成分泛化的研究表明,seq2seq模型在泛化到训练中没有看到的语言结构时,精确度很低。 我们提供了新的证据,证明这是seq2seq模型的一个普遍局限性,它不仅存在于语义分析中,也存在于句法分析和文本到文本任务中,并且这种局限性通常可以通过内置语言知识的神经符号模型来克服。 我们进一步报道了一些实验,这些实验对这些限制的原因给出了初步答案。