序列到序列模型很难进行结构泛化

姚月坤,亚历山大·科勒

摘要
序列对序列（seq2seq）模型在许多NLP任务中都取得了成功，包括那些需要预测语言结构的任务。然而，最近关于合成泛化的工作表明，seq2seq模型在泛化到训练中没有看到的语言结构方面的准确性非常低。我们提供了新的证据，证明这是seq2seq模型的一个普遍局限性，它不仅存在于语义分析中，也存在于句法分析和文本到文本任务中，并且这种局限性通常可以通过内置语言知识的神经符号模型来克服。我们进一步报道了一些实验，对这些限制的原因给出了初步答案。
选集ID：
2022.emnlp-main.337年
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德伯格,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
5048–5062
语言：
网址：
https://aclantology.org/2022.emnlp-main.337
内政部：
10.18653/v1/2022.emnlp-main.337
比比键：
引用（ACL）：
姚月坤和亚历山大·科勒。2022序列到序列模型很难进行结构泛化.英寸2022年自然语言处理实证方法会议记录，第5048–5062页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
序列到序列模型很难进行结构泛化（Yao&Koller，EMNLP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.emnlp-main.337.pdf
PDF格式 引用 搜索