计算机科学>机器学习
标题: 变压器中的推理——消除虚假关联和推理捷径
摘要: Transformer语言模型是用于与自然语言相关的各种任务的神经网络,包括一些还需要逻辑推理的任务。 然而,变压器模型可能很容易学习数据中的虚假模式,从而使实际推理短路。 在本文中,我们研究了变压器可以训练到什么程度,以a)命题逻辑中的近似推理,而b)通过训练数据中的伪相关避免已知的推理捷径。 为此,我们使用了一个数据集,该数据集的真实性与问题中的规则数量之间存在已知的虚假相关性。 我们用证明来增加数据,并训练两个模型:一个是生成变压器WP-BART,它训练问题及其整体证明;另一个是神经符号模型SIP-BART,它训练单个证明步骤,并将生成变压器模型BART与符号校验器相结合。 我们发现SIP-BART成功地避免了推理捷径,而WP-BART则没有。 对于SIP-BART,我们确定了一些剩余的推理错误,这些错误以前在文献中没有描述过,是由使用预先训练的语言模型引起的。 对这些进行了定性分析,以创建四种不同类型的附加陷阱的分类法。