计算机科学>计算与语言
标题: 概率神经总结中的不确定性校准和选择性生成:一项基准研究
摘要: 用于摘要的现代深度模型获得了令人印象深刻的基准性能,但它们容易产生错误校准的预测不确定性。 这意味着他们将高置信度分配给低质量的预测,从而导致实际应用中的可靠性和可信度受损。 概率深度学习方法是解决校准错误问题的常用方法。 然而,它们在复杂的自回归摘要任务中的相对有效性还没有得到很好的理解。 在这项工作中,我们深入研究了不同最先进的概率方法在不同难度的三个大规模基准测试中提高神经摘要模型不确定性质量的有效性。 我们表明,概率方法持续改进了模型的生成和不确定性质量,从而在实践中提高了选择性生成性能(即避免低质量摘要)。 我们还揭示了NLP社区广泛采用的概率方法的显著失效模式(例如,深度集成和蒙特卡罗辍学),提醒人们为数据设置选择合适方法的重要性。