旧金山-质量保证：用于开放域问题解答的简单而公平的评估库

陆小鹏，Kyusong Lee公司，赵天成

摘要
虽然开放域问答（QA）近年来备受关注，但构建完整系统需要大量资源，而且由于配置复杂，通常很难重现以前的结果。本文介绍了SF-QA：一种简单而公平的开放域QA评估框架。SF-QA-框架模块化了流水线开放领域QA系统，使得任务本身易于访问，并且在没有足够计算资源的情况下，可以对研究组进行复制。提议的评估框架是公开的，任何人都可以为代码和评估做出贡献。
选集ID：
2021.每个演示。2
体积：
计算语言学协会欧洲分会第16届会议记录：系统演示
月份：
四月
年份：
2021
地址：
在线的
编辑：
迪米特拉·格卡齐亚，杰梅·塞达
地点：
出口许可证
SIG公司：
出版商：
计算语言学协会
注：
页码：
7–13
语言：
网址：
https://aclantology.org/2021.eacl-demos.2
内政部：
10.18653/v1/2021.每个演示。2
比比键：
引用（ACL）：
陆小鹏、李京松和赵天成。2021SF-QA：简单公正的开放域问答评估库.英寸计算语言学协会欧洲分会第16届会议记录：系统演示，第7-13页，在线。计算语言学协会。
引用（非正式）：
SF-QA：简单公正的开放域问答评估库（Lu等人，EACL 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.eacl-demos.2.pdf
代码
soco-ai/SF-QA公司
数据
小队
PDF格式 引用 搜索 代码