乐高(LEGOEval) swMATH ID: 38431 软件作者: 于莉、乔什·阿诺德、严飞凡、史伟彦、周瑜 描述: LEGOEval:通过众包进行对话系统评估的开源工具包。我们介绍了LEGOEval,这是一个开源工具包,它使研究人员能够使用在线众包平台Amazon Mechanical Turk,在几行代码中轻松评估对话系统。与现有工具包相比,LEGOEvar提供了一个映射到常用React.js接口组件的Python API,从而实现了灵活的任务设计。研究人员可以像玩乐高积木一样,通过我们的内置页面轻松个性化他们的评估程序。因此,乐高为再现人类评估结果提供了一种快速、一致的方法。除了灵活的任务设计外,乐高还提供了一个简单的API来查看收集的数据。 主页: https://arxiv.org/abs/2105.01992 源代码: https://github.com/yooli23/LEGOEval网站 关键词: 人工智能;arXiv_cs。人工智能;人机交互;arXiv_cs。HC公司;乐高(LEGOEval);对话系统评估;众包 相关软件: PostgreSQL;拨号群组;查特瓦尔;测试Vox;BLEU公司;帕尔艾;胭脂;JavaScript脚本;蟒蛇 引用于: 0个文档 标准条款 1出版物描述软件 年份 LEGOEval:通过众包进行对话系统评估的开源工具包arXiv公司于莉、乔什·阿诺德、严飞凡、史伟彦、周瑜 2021