×

乐高(LEGOEval)

swMATH ID: 38431
软件作者: 于莉、乔什·阿诺德、严飞凡、史伟彦、周瑜
描述: LEGOEval:通过众包进行对话系统评估的开源工具包。我们介绍了LEGOEval,这是一个开源工具包,它使研究人员能够使用在线众包平台Amazon Mechanical Turk,在几行代码中轻松评估对话系统。与现有工具包相比,LEGOEvar提供了一个映射到常用React.js接口组件的Python API,从而实现了灵活的任务设计。研究人员可以像玩乐高积木一样,通过我们的内置页面轻松个性化他们的评估程序。因此,乐高为再现人类评估结果提供了一种快速、一致的方法。除了灵活的任务设计外,乐高还提供了一个简单的API来查看收集的数据。
主页: https://arxiv.org/abs/2105.01992
源代码:  https://github.com/yooli23/LEGOEval网站
关键词: 人工智能;arXiv_cs。人工智能;人机交互;arXiv_cs。HC公司;乐高(LEGOEval);对话系统评估;众包
相关软件: PostgreSQL;拨号群组;查特瓦尔;测试Vox;BLEU公司;帕尔艾;胭脂;JavaScript脚本;蟒蛇
引用于: 0个文档

标准条款

1出版物描述软件 年份
LEGOEval:通过众包进行对话系统评估的开源工具包arXiv公司
于莉、乔什·阿诺德、严飞凡、史伟彦、周瑜
2021