{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{-“日期部分”：[[2024,7,19]]，“日期时间”：“2024-07-19T11:49:17Z”，“时间戳”：1721389757048}，“引用计数”：0，“发布者”：“AI Access Foundation”，“内容域”：{“域”：[]，“交叉标记限制”：false}，”短容器时间“：[”jair“]，”摘要“：”在从人工评委收集项目评分时，由于任务的主观性以及评委如何做出每个评分决定缺乏透明度，可能很难衡量和执行数据质量。为了解决这个问题，我们调查了要求法官提供支持每个评级决定的特定形式的理由。我们在一项信息检索任务中评估了这种方法，在该任务中，人类法官对不同搜索主题的网页相关性进行评级。对亚马逊2019年的Mechanical Turk上收集到的10000多个判断进行成本-效益分析表明，这是一种双赢。首先，基本原理产生了许多好处：更可靠的判断、评估人类评分员及其判断的更大透明度、减少对专家黄金的需求、评级和基本原理双重监管的机会以及基本原理本身的附加值。其次，一旦在任务中有了经验，群众工作者提供了基本原理，而任务完成时间几乎没有增加。因此，我们可以以最小的额外成本实现上述好处<\/jats:p>“，”DOI“：”10.1613\/jair.1.2012“，”type“：”journal-article“，”created“：{”date-parts“：[[2020,9,24]]，”date-time“：”2020-09-24T23:15:22Z“，”timestamp“：1600989322000}，”page“：，“卷”：“69”，“作者”：[{”给定“：”Mucahid“，”family“：”Kutlu“，”sequence“：”first“，”affiliation“：[]}，“成员”：“16860”，“在线发布”：{”date-parts“：[[2020,9,23]]}，“container-title”：[“Journal of Artificial Intelligence Research”]，“原始标题”：[]，“链接”：[{“URL”：“https:\/\/www.jair.org\/index.php\/jair\/article\/download\/12012\/26607”，“内容类型”：“application\/pdf”，“content-version”：“vor”，“intended-application”：“text-mining”}，{“网址”：“https:\/\/www.jair.org\/index.php\/jair\/article\/download\/12012\/26607“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2020,9,24]]，”date-time“：“2020-09-24T23:15:22Z”，“timestamp”：1600989322000}，“score”：1，“resource”：{“primary”:{“URL”：“https:\/\/www.jair.org\/index.php\/jair\/article\/view\/12012“}}，”副标题“：[]，”短标题“：[]，”已发布“：{”日期部分“：[[2020,9,23]]}，“引用计数”：0，”URL“：”http://\/dx.doi.org\/10.1613\/jair 1.12012“，”关系“：{}，‘ISSN’：[“1076-9757”]，“ISSN-type”：[{“value”：“1076-9757”，“type”：“electronic”}]，“subject”：[]，“published”：{“date-parts”：[[2020,9,23]]}}}