常识性质量保证(CSQA)

Talmor等人于年介绍CommonsenseQA:针对常识知识的问答挑战

这个通用QA是一个用于常识性问答任务的数据集。数据集由12247个问题组成,每个问题有5个选项。数据集由Amazon Mechanical Turk工人在以下过程中生成(括号中提供了一个示例):

  1. 人群工作者观察来自ConceptNet的源概念(“河”)和三个目标概念(“瀑布”、“桥”、“山谷”),它们都由相同的ConceptNetwork关系(“AtLocation”)关联,
  2. 这位工作人员提出了三个问题,每个目标概念一个,因此只有特定的目标概念才是答案,而其他两个分散注意力的概念则不是,(“阳光明媚的日子,你能在河里的什么地方举起杯子去抓水?”),“我能站在河里什么地方看水掉下来而不被淋湿?”,“我正在过河,我的脚是湿的,但我的身体是干的,我在哪里?”)
  3. 对于每个问题,另一个工作者从概念网中选择一个额外的干扰因素(“鹅卵石”、“溪流”、“堤岸”),而作者手动选择另一个干扰因素(”山“、”底“、”岛“)。
资料来源:CommonsenseQA:针对常识知识的问答挑战

论文


纸类 代码 结果 日期 星星

任务


类似数据集


许可证


  • 未知

模式


语言文字