计算机科学>人机交互
标题: EASE:一个由效率提升机制支持的易于定制的注释系统
摘要: 当前监督人工智能系统的性能与注释数据集的可用性密切相关。 注释通常是通过注释工具收集的,这些工具通常是为特定任务设计的,很难自定义。 此外,具有主动学习机制的现有注释工具通常只支持有限的用例。 为了解决这些局限性,我们提出了EASE,一个由效率增强机制支持的易于定制的注释系统。 \sysname提供模块化注释单元,用于构建自定义注释接口,还提供多个后端选项,建议使用(1)多任务主动学习进行注释; (2) 基于人口特征的主动学习; (3) 可以查询大型语言模型API的提示系统。 我们进行了多次实验和用户研究,以评估系统的灵活性和有效性。 我们的结果表明,我们的系统能够满足NLP研究人员的不同需求,并显著加快了注释过程。