×

FEQA公司

swMATH ID: 42113
软件作者: 伊森·杜莫斯、何贺、蒙娜·迪亚卜
描述: FEQA:一个用于抽象摘要中可信度评估的问答评估框架。神经抽象摘要模型容易生成与源文档不一致的内容,即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决了根据源文件评估生成摘要真实性的问题。我们首先收集了两个数据集上大量模型输出的忠实性的人类注释。我们发现,当前的模型在抽象性和忠实性之间进行了权衡:与源文档重叠较少的输出更有可能不忠实。接下来,我们提出了一个基于自动问答(QA)的信度度量标准FEQA,它利用了阅读理解的最新进展。给定从摘要生成的问答对,QA模型从文档中提取答案;不匹配的答案表示摘要中的信息不真实。在基于单词重叠、嵌入相似度和学习语言理解模型的度量中,我们基于QA的度量与人类忠诚度得分有显著的相关性,特别是在高度抽象的摘要上。
主页: https://arxiv.org/abs/2005.03754
源代码:  https://github.com/esdurmus/feqa
相关软件: 胭脂;判决-BERT;捷运局;移动分数;希伯特;佩加斯;瓶装水;BiSET系列;Opinion摘要;MLSUM公司;高RES;SUPERT(超级);带宽总和;SummaEval总结;FFCI公司;BLEU公司;SBERT公司;BERTS核心;罗伯塔;XLNet公司
引用于: 1文件

在1个字段中引用

1 计算机科学(68至XX)

按年份列出的引文