CompMix公司

下载培训集（4966个问题） 下载开发套件（1680个问题） 下载测试集（2764个问题）CompMix基准测试根据Creative Commons Attribution 4.0国际许可.
Creative Commons许可证

CompMix数据集也可在拥抱的脸:
https://huggingface.co/datasets/pchristm/CompMix网站

说明

CompMix公司整理ConvMix中对话问题的完整版本，这些问题由亚马逊机械土耳其公司（AMT）的众筹人员直接提供。CompMix展览中的问题复杂现象比如存在多个实体、关系、时间条件、比较、聚合等等。其目的是评估在异质输入源的混合（KB、文本、表格、信息框）。数据集具有9410个问题，分为训练（4966个问题）、开发（1680）和测试（2764）组。CompMix数据集中提供的所有答案都以KB为基础（规范化的日期和其他文字（如名称）除外）。

更多细节将很快在专门的书面报告中提供。

CompMix是如何创建的？

CompMix公司整理完成的版本ConvMix中的对话问题，由众工直接提供。

CompMix所基于的ConvMix基准是由真人创建的。我们试图确保收集的数据尽可能自然。掌握众工Amazon Mechanical Turk（AMT）选择了一个特定领域中感兴趣的实体，然后开始就这个实体发出对话问题，在整个对话过程中可能会转移到其他感兴趣的话题。通过让用户自己选择实体，我们旨在确保他们对对话所基于的主题更感兴趣。在写下一个问题后，用户被要求在其中找到答案维基数据,维基百科文本，一个维基百科表或a维基百科信息框，无论他们觉得对于手头的特定问题更自然。由于Wikidata需要对知识库有一些基本的了解，因此我们提供了视频指南，在一次示例对话之后，说明了如何使用Wiki数据来检测答案。对于每个会话问题，这可能是不完整的crowdworker提供了一个完整的、意图明确的问题，并且可以在没有会话上下文的情况下进行回答。这些问题构成了CompMix数据集。我们还提供用户在和问题实体中找到答案的答案源。

更多细节将很快在专门的书面报告中提供。

CompMix中的问题是如何开始的？

CompMix中的答案看起来怎么样？

联系人

有关反馈和澄清，请联系：菲利普·克里斯特曼（在mpi HYPHEN inf DOT mpg DOT de的圣诞节），里希拉吉·萨哈·罗伊（rishiraj AT mpi HYPHEN inf DOT mpg DOT de）或格哈德·威库姆（威库姆在mpi HYPHEN inf DOT mpg DOT de）。

要了解我们团队的更多信息，请访问https://www.mpi-inf.mpg.de/departments/databases-and-information-systems/research/question-answering/.

纸类

“CompMix:异构问题解答的基准”,
菲利普·克里斯特曼（Philipp Christmann）、里希拉杰·萨哈·罗伊（Rishiraj Saha Roy）和格哈德·魏库姆（Gerhard Weikum）。
WWW’24（资源跟踪）。
[预打印] [幻灯片] [视频]

CompMix排行榜

型号 P@1处 磁共振成像 点击@5
HQA-GPT-4型*
Lehmann等人’24
 0.655 - -
GPT-3（text-davinci-003）
Brown等人'20
 0.502 - -
解释
Christmann等人'23 		0.442 0.518 0.617
UniK-QA公司
Oguz等人'22
 0.440 0.467 0.494
公民
Christmann等人'22 		0.407 0.437 0.483
*结果是根据随机抽样的200个问题计算得出的。

CompMix中的问题看起来怎么样？

方括号中的来源是可以找到相应答案的来源。

比较
问题
《哈姆雷特》和《乱世佳人》哪部电影更长？
答案
哈姆雷特[KB，信息框]
最高级的
问题
哪个足球运动员在2004年欧洲足球锦标赛上进球最多？
答案
米兰·巴罗什[KB，文本，信息框，表格]
计数
问题
2019年，若昂·费利克斯代表葡萄牙参加了多少场比赛？
答案
5[表]
依次的
问题
乌拉圭国家足球队在哪里进行了第一场有记录的比赛？
答案
莫利诺河畔[文本]
世俗的
问题
1981年至1983年，谁是切尔西足球俱乐部的球衣制造商？
答案
勒柯克运动[文本，表格]
多重复杂性
问题
在2006年国际足联世界杯上，哪位球员获得了最多的最佳球员称号？
答案
皮尔洛[KB，文本]
特别
问题
《杀死知更鸟》一书的作者？
答案
哈珀·李[KB，文本，信息框]
简单
问题
安德烈·贾丁出生于哪一年？
答案
1979[KB，文本，信息框]