计算机科学>计算与语言
标题: 不要说你不知道的东西:通过约束束搜索提高抽象摘要的一致性
摘要: 当今的抽象摘要系统能够产生流畅且相关的输出,但往往会产生源文本不支持的“幻觉”语句。 我们分析了幻觉和训练数据之间的联系,并找到了模型产生幻觉的证据,因为它们训练的是来源不支持的目标摘要。 基于我们的发现,我们提出了PINOCCHIO,这是一种新的解码方法,通过限制波束搜索来避免幻觉,从而提高了基于变压器的抽象摘要生成器的一致性。 给定给定步骤的模型状态和输出,PINOCCHIO根据源文本的各种属性度量来检测可能的模型幻觉。 匹诺曹回溯寻找更一致的输出,并可以选择在找不到一致生成时根本不生成摘要。 在实验中,我们发现PINOCCHIO在两个抽象摘要数据集上平均提高了~67%的生成一致性(就F1而言)。