D类国际实验室C类rowd：一个用于简单对话系统评估的工具包

Kyusong Lee公司,赵天成,艾伦·W·布莱克,Maxine Eskenazi公司

摘要
在创建对话系统时，开发人员需要测试每个版本，以确保其正确执行。最近的趋势是在大型数据集上进行测试，或要求许多用户试用一个系统。众包解决了寻找用户的问题，但也带来了新的挑战，例如如何使用众包平台以及什么类型的测试是合适的。DialCrowd旨在简化系统评估并确保结果质量。本文介绍了DialCrowd，它满足了什么具体需求以及它是如何工作的。然后讲述了一组对话系统开发人员对DialCrowd的测试。
选集ID：
W18-5028型
体积：
第19届SIG对话与对话年会会议记录
月份：
七月
年份：
2018
地址：
澳大利亚墨尔本
编辑：
小马塔尼,黛安·利特曼,Kai Yu公司,亚历克斯·帕潘格里斯,劳伦斯·卡文登,中野美雄
地点：
SIGDIAL公司
SIG公司：
SIGDIAL公司
出版商：
计算语言学协会
注：
页：
245–248
语言：
网址：
https://aclantology.org/W18-5028
内政部：
10.18653/v1/W18-5028
比比键：
引用（ACL）：
Kyusong Lee、Tiancheng Zhao、Alan W.Black和Maxine Eskenazi。2018DialCrowd：一个用于简单对话系统评估的工具包.英寸第19届SIG对话与对话年会会议记录，第245-248页，澳大利亚墨尔本。计算语言学协会。
引用（非正式）：
DialCrowd：一个用于简单对话系统评估的工具包（Lee等人，SIGDIAL 2018）
复制引文：
PDF格式：
https://aclantology.org/W18-5028.pdf
PDF格式 引用 搜索