崇高的

HighRES:基于突出显示的无参考摘要评估。摘要研究已经取得了实质性的进展,这得益于新颖的、通常是大规模的数据集以及基于神经网络的方法的最新进展。然而,由于任务对非专家读者造成的困难,对系统生成的摘要的手动评估是不一致的。为了解决这一问题,我们提出了一种新的人工评价方法,即基于高亮显示的无参考摘要评价(HighRES),即多个注释器通过在源文档中手动突出显示的显著内容来评估摘要。因此,方便了人类法官对源文件的简要评估,而亮点可用于评估多个系统。为了验证我们的方法,我们使用人群工作者来增加最近提出的数据集,并比较两个最先进的系统。我们证明,与直接使用源文档相比,HighRES提高了注释者之间的一致性,同时它们有助于强调在其他评估方法下会被忽略的系统之间的差异。

zbMATH中的参考文献(参考文献1条)

显示结果1/1。
按年份排序(引用)

  1. 科托,法吉里;鲍德温,提摩太;刘杰汉:一个可解释的自动摘要评价框架(2022)