{“状态”：“确定”，“消息类型”：“工作”，“信息版本”：“1.0.0”，“邮件”：{“索引”：{“日期部分”：[[2024,3,26]]，“日期时间”：“2024-03-26T02:00:44Z”，“时间戳”：1711418444352}，“引用-计数”：0，“发布者”：“人工智能发展协会（AAAI）”，“问题”：“7”，“内容域”：{-“域”：[]，“交叉标记限制”：false}，“short container-title”：[“AAAI”]，“抽象”：“近年来，计算机视觉中的目标检测（OD）取得了重大进展，从封闭集标签过渡到基于大规模视觉语言预训练（VLP）的开放词汇检测（OVD）。然而，当前的评估方法和数据集仅限于测试对象类型和引用表达式的泛化，这不能为OVD模型的能力提供系统、细粒度和准确的基准。在本文中，我们提出了一个新的基准测试OVDEval，它包括9个子任务，并介绍了对常识知识、属性理解、位置理解、对象关系理解等的评估。数据集是精心创建的，以提供硬否定，挑战模型对视觉和语言输入的真实理解。此外，当在这些细粒度标签数据集上对模型进行基准测试时，我们发现了流行的平均精度（AP）度量的一个问题，并提出了一种称为非最大抑制平均精度（NMS-AP）的新度量来解决此问题。大量实验结果表明，除了简单的对象类型外，现有的顶级OVD模型在新任务中都失败了，这证明了所提出的数据集在查明当前OVD模式的弱点和指导未来研究方面的价值。此外，提出的NMS-AP度量通过实验进行了验证，以提供更真实的OVD模型评估，而传统的AP度量产生了欺骗性的结果。数据可从https:\/\/github.com/om-ai-lab\/OVDEval<\/jats:p>“，”DOI“：”10.1609\/aaai.v38i7.28485“，”type“：”journal-article“，”created“：{”date-parts“：[2024,3,25]]，”date-time“：”2024-03-25T10:05:32Z“，”timestamp“：1711361132000}，”page“：“6630-6638”，“source”：“Crossref”，“is-referenced-by-count”：0，“标题”：[“如何评价检测的通用性？综合开放视觉检测的基准“]，”前缀“：”10.1609“，”卷“：”38“，”作者“：[{”给定“：”益阳“，”家庭“：”姚“，”序列“：”第一“，”从属“：[]}，{”给出“：”彭“，”家族“：”刘“，”顺序“：”附加“，”隶属“：[]}，“钱钱”，“家庭：“张”，“序列”：“附加”，“从属关系”：[]}，{“给定”：“佳佳”，“家庭”：“廖”，“顺序”：“额外”，“隶属关系”：[]}“，”sequence“：”additional“，”affiliation“：[]}]，”member“：”9382“，”published-online“：{”date-parts“：[2024,3,24]]}，”container-title“：[”AAAI人工智能会议记录“]，”original-title”：[]，”link“：[{”URL“：”https:\/\/ojs.AAAI.org\/index.php\/AAAAI\/article\/download\/28485\/28945“，”content-type“：”application\/pdf“，”content-version“：”vor“，”intended-application“：”text-mining“}，{”URL“：”https:\/\/ojs.aaai.org\/index.php\/aaai\/article\/download\/28485\/28946“，”content-type“：”unspecified“，”content-version“：”vor“，”intended-application”：“text-miniing”}，“{”URL:“https:\//ojs.aaai.org\/index.php\/aaai\/aarticle\/ondownload\/28485\/28945“，”内容类型“：”未指定“，”content-version“：”vor“，”intended-application“：”similarity-checking“}]，”deposed“：{”date-parts“：[2024,3,25]]，”date-time“：”2024-03-25T10:05:33Z“，”timestamp“：1711361133000}，”score“：1，”resource“：{“primary”：{“URL”：“https:\/\/ojs.aaai.org\/index.php\/AAAAI\/article\/view\/28485”}}，“subtitle”：[]，“shortitle”:[]，”issued“rts“：[[2024,3,24]]}，”引用计数“：0，”journal-issue“：{”issue“：”7“，”published-online“：{”date-parts“：[2024,3,25]]}}，”URL“：”http://\/dx.doi.org\/10.1609\/aaai.v38i7.28485“，”relation“：{}，“ISSN”：[“2374-3468”，“2159-5399”]，“ISSN-type”：[{“value”：“2374-468”，“type”:“electronic”}，{“value”：“21595-5399”，“type”：“print”}]，“subject”：[]，“published”：{“date-parts”：[[2024,3,24]]}}