知识库问答（KBQA）是自然语言处理和信息检索领域，其目标是使用知识库中的事实。KBQA可以涉及多个子任务，例如实体链接、，关系链接和答案类型预测。在SMART 2022语义网络挑战赛中，我们关注KBQA中的三个子任务。

这些问题通常可以根据Wh-术语（Who、What、When、Where、Whom、Whom、Whoe、Why）进行分类。一粒答案类型分类可以使用流行的语义Web本体，例如DBpedia（数据库）（~760节课）和维基数据（~50K节课）。问题的关系链接是一项艰巨的任务，有些关系在语义上很遥远有时，决定关系的标记在整个问题中传播，有些关系隐含在文本中，在关系表面形式和KG属性标签中存在词汇空缺。类似地，实体链接是为知识库问答制定查询的基本子任务。

因此，在ISWC 2022中SMART挑战的第三次迭代中，我们有三个独立的任务：

任务1（AT）-答案类型预测：给定自然语言中的一个问题，任务是使用目标本体中的一组候选对象预测答案的类型。

任务2（RL）-关系链接：给定自然语言中的一个问题，任务是预测用于确定正确答案的关系。

任务3（EL）-实体链接：给定自然语言中的一个问题，任务是识别实体并将它们链接到KG，以便可以使用它们来检索正确的答案。

我们为这个答案预测任务提供了两个数据集，一个使用DBpedia本体，另一个使用Wikidata本体。两者都遵循如下所示的结构。

每个问题都有一个（a）问题id，（b）自然语言中的问题文本，（c）答案类别（“resource”/“literal”/“boolean”），以及（d）答案类型。

如果类别是“资源”，那么答案类型是DBpedia本体或Wikidata本体中的本体类。如果类别为“literal”，则答案类型为“number”、“date”或“string”。“布尔”答案类型。如果类别为“boolean”，则答案类型始终为“boo布尔”。

[{“id”：“dbpedia_1”，“问题”：“阿曼达·雷丁指导的体操运动员是谁？”，“category”：“资源”，“type”：[“dbo:Gymnast”，“dbo:运动员”，“db2o:Person”，“dmo:Agent”]},{“id”：“dbpedia_2”，“问题”：“神奇女郎有多少超能力？”，“category”：“literal”，“类型”：[“数字”]}{“id”：“dbpedia_3”，“问题”：“玛格丽特·米德什么时候和格雷戈里·贝特森结婚的？”，“category”：“literal”，“类型”：[“日期”]},{“id”：“dbpedia_4”，“问题”：“阿塞拜疆是欧洲围棋联合会的成员吗？”，“category”：“boolean”，“type”：[“boolean”]}]

任务2：关系预测（SMART2022-RL）

与AT类似，我们为关系预测任务提供了两个数据集，一个使用DBpedia本体，另一个使用Wikidata本体。两者都遵循如下所示的结构。

每个问题都有一个（a）问题id，（b）自然语言中的问题文本，（c）关系块列表（涉及n个关系的多跳问题的n个块）。每个关系块可以有多个可互换关系。

我们还提供了数据集中使用的所有关系的受限词汇表（训练集和测试集）。

[{“id”：“smart-2022-rl-dbpedia-0”“问题”：“理查德·斯普里格·斯图尔特出生在哪里？”，“关系”：[[“dbo:出生地”]]}, {“id”：“smart-2022-rl-dbpedia-1”，“问题”：“电影《穿靴子的猫》的制片人获得了哪些奖项？”，“关系”：[[“dbo:生产商”]，[“dbo:奖项”]]},{“id”：“smart-2022-rl-dbpedia-2”“问题”：“说出加州的一所大学”，“关系”：[[“dbo:locatedInArea”，“dbo:城市”]}]

任务3：实体链接（SMART2022-EL）

与前两个任务类似，我们为实体链接任务提供了两个数据集，一个使用DBpedia本体，另一个使用Wikidata知识图。两者都遵循如下所示的结构。

每个问题都有一个（a）问题id，（b）自然语言的问题文本，（c）实体列表

[{“id”：“smart-2022-rl-dbpedia-0”“问题”：“理查德·斯普里格·斯图尔特出生在哪里？”，“实体”：[“dbr:Richard_Sprigg_Steuart”]}, {“id”：“smart-2022-rl-dbpedia-1”，“问题”：“电影《穿靴子的猫》的制片人获得了哪些奖项？”，“实体”：[dbr:Puss_in_Boots_（2011_film）]}{“id”：“smart-2022-rl-dbpedia-2”“问题”：“说出加州的一所大学”，“实体”：[dbr:加利福尼亚]}]

任务1：答案类型预测

对于测试集中的每一个自然语言问题，参与系统应提供两个预测：答案类别和答案类型。答案类别可以是“resource”、“literal”或“boolean”。格式相同作为训练数据。

如果答案类别是“资源”，那么答案类型应该是一个本体类（DBpedia或Wikidata，取决于数据集）。系统可以从相应的本体中预测类的排名列表。如果答案类别是“literal”，则答案类型可以是“number”、“date”或“string”。

类别预测将被视为一个多类分类问题准确度得分将用作度量。对于类型预测，我们将使用度量宽大NDCG@k线性衰减来自的论文Balog和Neumayer.

可以找到评估脚本在这里.

任务2：关系预测

对于每个问题，参与系统应该提供一个关系列表。的格式预期系统输出如下：

[{“id”：“smart-2022-rl-dbpedia-test-0”，“关系”：[“dbo:位置”]},{“id”：“smart-2022-rl-wikidat-test-1”，“关系”：[“dbo:奖项”，“dbo:director”]}]

[{“id”：“smart-2022-rl-wikidaa-test-0”，“关系”：[“P4599”]},{“id”：“smart-2022-rl-wikidat-test-1”，“关系”：[“P166”，“P805”]}]

系统预测关系列表将与关系黄金列表和精度，召回和F1将计算所有问题的指标。微型F1将用于对系统进行排序。

可以找到评估脚本在这里.

要求参与者提交测试数据的系统输出。格式与培训数据相同。此外，参与者要求提交一份系统描述，该描述将包含在国际社会妇女委员会联合质疑诉讼卷（CEUR）。系统说明必须英语版本为PDF或HTML，格式为LNCS，无超过12页。提交文件可以通过以下方式发送Easy椅子.有一个松弛工作空间与挑战相关的讨论，请发送一个电子邮件邀请。已接受的各系统将有机会在2022年ISWC期间展示其成果海报和演示环节。