计算机科学>计算与语言
标题: 序列级确定性减少基于知识的对话生成中的幻觉
摘要: 在这项工作中,我们提出了序列级确定性作为基于知识的对话生成(KGDG)中幻觉的共同主题。 我们探讨了模型反应中幻觉水平与两种序列水平确定性(概率确定性和语义确定性)之间的相关性。 实证结果表明,模型反应中两类确定性水平越高,幻觉水平越低。 我们进一步提出了基于确定性的响应排序(CRR),这是一种解码时间幻觉缓解方法,它对多个响应候选进行采样,基于序列级确定性对其进行排序,并输出具有最高确定性的响应。 根据我们对序列级确定性的定义,我们设计了两种CRR方法:概率CRR(P-CRR)和语义CRR(S-CRR)。 P-CRR使用整个序列的算术平均对数概率对单独采样的模型响应进行排序。 S-CRR从意义空间进行确定性估计,并根据基于隐含的协议得分(as)测量的语义确定性水平对模型响应候选对象进行排序。 通过对3个KGDG数据集、3种解码方法和4种KGDG模型的广泛实验,我们验证了CRR在KGDG任务中减少幻觉的有效性。