计算机科学>计算与语言
职务: 在零/极少数快照设置中,“分别进行推理”的失败告诉了我们关于语言模型的什么?
摘要: 人类可以毫不费力地理解句子的并列结构,例如“尼尔斯·玻尔和科特·科本分别出生于哥本哈根和西雅图”。 在自然语言推理(NLI)的背景下,我们从句法语义知识和常识世界知识两个角度考察了语言模型(LM)如何与各自的阅读进行推理(Gawron和Kehler,2004)。 我们提出了一个受控的合成数据集WikiResNLI和一个自然发生的数据集NatResNLI,以包含“分别”的各种显式和隐式实现。 我们表明,在没有明确监督的情况下,微调NLI模型难以理解此类读数。 虽然在有明确线索的情况下很容易进行快速学习,但当阅读被隐式激发时,需要更长的训练,让模型依赖常识推理。 此外,我们的细粒度分析表明,模型无法在不同的结构中进行概括。 总之,我们证明LM在概括语言结构的长尾方面仍然落后于人类。