下载ConvQuestions

训练集(6720次对话) 开发集(2240个对话) 测试集(2240个对话)ConvQuestions基准根据Creative Commons Attribution 4.0国际许可.
Creative Commons许可证

ConvQuestions中的对话是什么样的?

影视 足球 音乐 电视连续剧
系列丛书《矮人》的第一本书是什么时候出版的? 谁在《黑暗骑士》中扮演小丑? 迭戈·科斯塔在2018年代表哪个欧洲队? 齐柏林飞艇乐队有多少成员? 谁是高谭詹姆斯·戈登的演员?
2003 希斯·莱杰 马德里竞技 4 本·麦肯齐
第二本书的名字是什么? 他什么时候死的? 他们去年赢得超级杯了吗? 哪一个最先发布:神圣之屋还是物质涂鸦? 布洛克呢?
矮人战争 2008年1月22日 圣殿 多纳尔·罗格
作者是谁? 蝙蝠侠演员? 哪个俱乐部获胜? 雨歌和移民歌在那里吗? 造物主?
马库斯·海茨 克里斯蒂安·贝尔 皇家马德里足球俱乐部 布鲁诺·海勒
他出生在哪个城市? 董事? 科斯塔在返回马德里竞技之前为哪家英国俱乐部效力? 那些歌曲是谁写的? 2017年与结婚?
洪堡 克里斯托弗·诺兰 切尔西F.C。 吉米·佩奇 米兰达·考利
他什么时候出生的? 续集名称? 哪个体育场是这个俱乐部的主场? 他以前乐队的名字? 第一任妻子的婚礼?
1971年10月10日 黑暗骑士崛起 斯坦福桥 雏鸟乐队 1993年6月19日
ConvQuestions是使用创建的一组种子对话每个问题都有两个释义。我们以明文形式提供答案,并将其归一化为KG。对于每个不完整的问题,我们都提供了问题的完整形式,可以用于训练专用的问题重写模型。此外,还为每个对话提供了种子实体。

ConvQuestions是如何创建的?

Conv问题是第一个在知识图上进行对话式问答的现实基准。它包含11200个对话,可以通过Wikidata进行评估。它们是根据70的输入进行编译的掌握众工在Amazon Mechanical Turk上,有来自五个领域的对话:书籍、电影、足球、音乐和电视剧。这些问题具有多种复杂的问题现象,如比较、聚合、组合和时间推理。答案基于Wikidata实体,以实现不同方法之间的公平比较。数据收集设置尽可能保持自然,注释者从五个域中的每个域中选择自己选择的实体,并在一个会话中形成整个对话。对话中的所有问题都来自同一个特克,他也为这些问题提供了黄金答案。对于知识图的适用性,问题被限制为客观或事实性的,但没有设置其他限制性准则。ConvQuestions的一个显著特性是,有几个问题无法单独由Wikidata回答(截至2019年9月),但所需的事实可以在开放网络或维基百科中找到。有关详细信息,请参阅我们的CIKM 2019全文.

CONVERX:一种基线方法

我们还提供凸面的,一种无监督的方法,可以通过使用迄今为止看到的实体和谓词来维护对话上下文,并自动推断出后续问题的缺失或歧义部分,从而在知识图(在我们的案例中是Wikidata)上回答不完整的问题。我们的方法的核心是一个图形探索算法,它明智地扩展了一个边界,以找到当前问题的候选答案。请再次参考纸张了解详细信息。
到CONVERX代码的GitHub链接 直接下载CONVERX代码

联系人

有关反馈和澄清,请联系:菲利普·克里斯特曼(在mpi HYPHEN inf DOT mpg DOT de的圣诞节),里希拉吉·萨哈·罗伊(rishiraj AT mpi HYPHEN inf DOT mpg DOT de)或格哈德·威库姆(威库姆在mpi HYPHEN inf DOT mpg DOT de)。

要了解我们团队的更多信息,请访问https://www.mpi-inf.mpg.de/departments/databases-and-information-systems/research/question-answering/.

ConvQuestions排行榜

请查看我们的新数据集ConvMix公司也!ConvMix更具多样性,最多可进行10次对话,可用于评估利用单个(仅KB)或多个信息源(KB、文本、表格、信息框)的方法。
型号 MRR⇩ P@1处
解释*(异构源)
Christmann等人'23
0.447 0.363
解释(仅限KB)
Christmann等人'23
0.399 0.330
韩国卢比†(黄金种子实体)
Ke等人'22
0.397 0.397
普拉林
Kacupaj等人'22
0.373 0.294
征服
Kaiser等人’21
0.279 0.240
燕麦†(黄金种子实体)
Marion等人’21
0.260 0.250
焦点实体模型
Lan等人’21
0.248 0.248
凸面的
Christmann等人’19
0.200 0.184
燕麦
Marion等人’21
0.175 0.166
星形模型
0.175 0.175
链模型 0.075 0.075
第二天
Guo等人’18
0.061 0.061

*EXPLAIGNN使用异构源(KB、文本、表格和信息框)。

此变体假定给定了每个对话的黄金种子实体。

排行榜上的结果仅针对(不完整)后续问题。


人们会注意到原始CIKM 2019论文中报告的CONVEX结果与此排行榜上显示的结果之间的差异。CONVEX是一种无监督的方法,不需要训练数据:为了强调这一点,本文使用了20%的ConvQuestions来调整超参数,其余80%的问题有待评估。在排行榜上,结果是本网站上提供的60:20:20次列车运行测试的结果。这个标准分割是为了与ConvQuestions上的监督方法进行公平比较而创建的,现在大多数方法都涉及到一个从大型训练集中受益的神经组件。

纸类

“三思而后行:通过巧妙的语境扩展在知识图上回答对话问题”Philipp Christmann、Rishiraj Saha Roy、Abdalghani Abujabal、Jyotsna Singh和Gerhard Weikum,《2019年第28届ACM信息与知识管理国际会议论文集》(19公里),中国北京,2019年11月3日至7日,第729-738页。
[预打印] [代码] [幻灯片] [海报]

演示

请单击下面的按钮加载示例对话:


如果您想通过Wikidata对自己的会话问题数据集运行CONVERX,请通过电子邮件发送给我们(如果您愿意,可以不带黄金答案)。我们会尽快给您回复输出。