质量保证框架行为E类val：改进质量保证-基于事实的摘要一致性评价

亚历山大·法布里,吴建胜,刘文浩,熊才明

摘要
事实一致性是文本摘要模型在实际环境中的一个基本质量。评估这一维度的现有工作可以大致分为两类研究，基于内涵和基于问题回答（QA）的度量，不同的实验设置通常会导致关于哪种范式表现最佳的对比结论。在这项工作中，我们对隐含和基于QA的度量进行了广泛的比较，证明了仔细选择基于QA度量的组件，特别是问题生成和可回答性分类，对性能至关重要。基于这些见解，我们提出了一个优化的度量，我们称之为QAFactEval，它在SummaC事实一致性基准上比以前基于QA的度量平均提高了14%，并且优于性能最好的基于隐含的度量。此外，我们发现基于QA和基于隐含的度量可以提供互补信号，并组合成单个度量以进一步提高性能。
选集ID：
2022.naacl-main.187年
体积：
计算语言学协会北美分会2022年会议记录：人类语言技术
月份：
七月
年份：
2022
地址：
美国西雅图
编辑：
海洋鲤鱼,玛丽·凯瑟琳·德·马内夫,伊万·弗拉基米尔·梅扎·鲁伊斯
地点：
NAACL公司
SIG公司：
发布者：
计算语言学协会
注：
页：
2587–2601
语言：
网址：
https://aclantology.org/2022.naacl-main.187
DOI（操作界面）：
10.18653/v1/2022.naacl-main.187
比比键：
引用（ACL）：
亚历山大·法布里（Alexander Fabbri）、吴建胜（Chien-Sheng Wu）、刘文浩（Wenhao Liu）和熊才明（Caiming Xiong）。2022QAFactEval：用于摘要的改进的基于QA的事实一致性评估.英寸计算语言学协会北美分会2022年会议记录：人类语言技术，第2587–2601页，美国西雅图。计算语言学协会。
引用（非正式）：
QAFactEval：用于摘要的改进的基于QA的事实一致性评估（Fabbri等人，美国有色人种协进会2022）
复制引文：
PDF格式：
https://aclantology.org/2022.naacl-main.187.pdf
视频：
 https://aclantology.org/2022.naacl-main.187.mp4
代码
销售人员/qafacteval
数据
澳大利亚国立理工学院, 美国有线电视新闻网/每日邮报, MultiNLI公司, 质量保证2D, 小队
PDF格式 引用 搜索 代码 视频