{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期部分”：[[2024,1,3]]，“日期时间”：“2024-01-03T01:39:45Z”，“时间戳”：1704245985649}，“引用-计数”：0，“发布者”：“AI Access Foundation”，“内容域”：{“域”：[]，“交叉标记限制”：false}，”短容器时间“：[”jair“]，“摘要“：”在本文中，我们提出了FFCI，一个细粒度摘要评估框架，它由四个要素组成：忠实度（事实与来源的一致程度）、焦点（摘要内容相对于参考的精度）、覆盖率（摘要内容相对参考的召回率）、，和语际连贯（记录相邻句子之间的流利程度）。我们构建了一个新的焦点、覆盖率和句子间连贯性数据集，并基于评估指标和基于模型的评估方法的交叉比较，开发了评估FFCI四个维度中每一个维度的自动方法，包括问答（QA）方法、语义-文本相似性（STS），下一内容预测（NSP），以及从19个预训练语言模型得出的分数。然后，我们将所开发的度量标准应用于评估两个数据集的广泛摘要模型，并得出一些令人惊讶的结果<\/jats:p>“，”DOI“：”10.1613\/jair.1.13167“，”type“：”journal-article“，”created“：{”date-parts“：[2022,4,30]]，”date-time“：”2022-04-30T00:44:15Z“，”timestamp“：1651279455000}，”source“：“Crossref”，“is-referenced-by-count”：2，“title”：[“FFCI:A Framework for Interprespectable Automatic Evaluation of Summation”]，“前缀”：“10.1613”，“volume”：“73”，“作者”：[{“给定”：”Fajri“，”family“：”Koto“，”sequence“：”first“，”affiliation“：[]}，{”given“：”Timothy“，”家人“：”Baldwin“，”sequence“:”additional“，”filiation”：[]{“ORCID”：“http://\/ORCID.org\/00000-0002-1647-4628”，“authenticated-ORCID”：false，“given”：”Jey Han“，“family”：“Lau”，“sequence”：“additional”，“affiliance”：[]，“member”：“16860”，“在线发布”：{”date-parts“：[2022,4,29]]}，“container-title”：[“Journal of Artificial Intelligence Research”]，“原始标题”：[]，“链接”：[{“URL”：“https:\/\/www.jair.org\/index.php\/jair\/article\/download\/13167\/26793”，“内容类型”：“application\/pdf”，“content-version”：“vor”，“intended-application”：“text-mining”}，{“URL”：“https:\/\/www.jair.org\/index.php\/jair\/article\/download\/13167\/26793“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2022,4,30]]，”date-time“：“2022-04-30T00:44:16Z”，“timestamp”：1651279456000}，“score”：1，“resource”：{“primary”:{“URL”：“https:\/\/www.jair.org\/index.php\/jair\/article\/view\/13167“}}，”副标题“：[]，”短标题“：[]，”已发布“：{”日期部分“：[2022,4,29]]}，“引用计数”：0，”URL“：”http://\/dx.doi.org\/10.1613\/jair 1.13167“，”关系“：{}，‘ISSN’：[“1076-9757”]，“ISSN-type”：[{“value”：“1076-9757”，“type”：“electronic”}]，“subject”：[]，“published”：{“date-parts”：[2022,4,29]]}}}