Conv问题是第一个在知识图上进行对话式问答的现实基准。它包含11200个对话,可以通过Wikidata进行评估。它们是根据70的输入进行编译的掌握众工在Amazon Mechanical Turk上,有来自五个领域的对话:书籍、电影、足球、音乐和电视剧。这些问题具有多种复杂的问题现象,如比较、聚合、组合和时间推理。答案基于Wikidata实体,以实现不同方法之间的公平比较。数据收集设置尽可能保持自然,注释者从五个域中的每个域中选择自己选择的实体,并在一个会话中形成整个对话。对话中的所有问题都来自同一个特克,他也为这些问题提供了黄金答案。对于知识图的适用性,问题被限制为客观或事实性的,但没有设置其他限制性准则。ConvQuestions的一个显著特性是,有几个问题无法单独由Wikidata回答(截至2019年9月),但所需的事实可以在开放网络或维基百科中找到。有关详细信息,请参阅我们的CIKM 2019全文.
*EXPLAIGNN使用异构源(KB、文本、表格和信息框)。
†此变体假定给定了每个对话的黄金种子实体。
排行榜上的结果仅针对(不完整)后续问题。