关于有效问题和参考问题在G公司uess公司W公司帽子？！

毛里西奥·马祖科斯,阿尔贝托·特斯托尼,拉斐拉·伯纳迪,卢西亚娜·贝诺蒂

摘要
任务成功是用于评估参考视觉对话系统的标准度量。在本文中，我们提出了两个新的指标，用于评估每个问题对目标的贡献。首先，我们通过评估问题是否丢弃了非所指对象来衡量每个问题的有效性。第二，我们将指代问题定义为在图像中唯一识别一个对象的问题。我们在GuessWhat？！上报告了人类对话和最先进的公开可用模型的新指标？！。关于我们的第一个指标，我们发现对于大多数模型来说，成功的对话没有更高比例的有效问题。关于第二个指标，人类在对话结束时提出问题，在猜测之前确认他们的猜测。使用这种策略的人类对话任务成功率较高，但模型似乎没有学习到。
选集ID：
2020年，alvr-1.4
音量：
语言和视觉研究进展第一次研讨会会议记录
月份：
七月
年份：
2020
地址：
在线的
编辑：
王欣（Xin Wang）,杰西·托马森,胡荣杭,陈新雷（Xinlei Chen）,彼得·安德森,齐武,阿斯利·塞利基尔马兹,杰森·鲍德里奇,威廉·杨旺
地点：
ALVR公司
SIG公司：
发布者：
计算语言学协会
注：
页：
19–25
语言：
网址：
https://aclantology.org/2020.alvr-1.4
内政部：
10.18653/v1/2020。alvr-1.4
比比键：
引用（ACL）：
Mauricio Mazuecos、Alberto Testoni、Raffaella Bernardi和Luciana Benotti。2020关于猜猜看中有效问题和参考问题的作用？！.英寸语言和视觉研究进展第一次研讨会会议记录，第19-25页，在线。计算语言学协会。
引用（非正式）：
关于猜猜看中有效问题和参考问题的作用？！（Mazuecos等人，ALVR 2020）
复制引文：
PDF格式：
https://aclantology.org/2020.alvr-1.4.pdf
PDF格式 引用 搜索