使用CROWDAQ轻松、可复制和质量可控的数据收集

@进行中{宁2020EasyRA，title={使用CROWDAQ}进行简单、可复制和质量控制的数据收集，author={强宁（Qiang Ning）、郝武（Hao Wu）、普拉迪普·达西吉（Pradeep Dasigi）、迪亚鲁·杜瓦（Dheeru Dua）、马特·加德纳（Matt Gardner）、罗伯特·洛根（Robert L Logan）四世（IV）、安娜·马拉索维（Ana Marasovi），booktitle={自然语言处理经验方法会议}，年份＝{2020}，网址={https://api.semanticscholar.org/CorpusID:222341636}}
这项工作介绍了CROWDAQ，这是一个开源平台，它通过可定制的用户界面组件、自动注释器鉴定和以可重用格式保存的管道来标准化数据收集管道，并希望它将成为社区的一个方便工具。
[PDF]语义阅读器
14引文
极具影响力的引文
1
背景引文
6
方法引文
7

本文图表

询问这篇论文
贝塔
AI供电

我们的系统试图限制本文中发现的信息。结果质量可能有所不同。了解更多信息关于我们如何产生这些答案。

14引文

一种从文本中提取时空量的元框架

本文阐述了时空数量提取的NLP问题，并提出了解决该问题的第一个元框架，其中包含一种将问题分解为多个信息提取任务、可共享众包管道和基于变压器的基线模型的形式。

DeepZensols：用于实验和再现性的深度学习自然语言处理框架

提供了一个开源框架，该框架有助于再现一致的结果，允许热交换功能和嵌入，而无需进一步处理和重新划分数据集，并提供了一种轻松创建、培训和评估自然语言处理深度学习模型的方法，几乎不需要更改代码。

通过数据检索引导科学家的决策树

这项工作提出了一个决策树，它将成为未来应用程序的基础，该应用程序将通过基于特定上下文（例如，数据可用性、数据预处理等）自动提供必要的元数据来自动化数据复制过程。

教我解释：可解释NLP数据集综述

本综述确定了三种主要的解释类别（突出显示、自由文本和结构化），组织了关于注释每种类型的文献，指出了迄今为止所学到的知识，并为未来收集E X NLP数据集提供了建议。

解决机器学习人群中人的主体地位

这项工作调查了ML众包研究的适当指定，重点关注自然语言处理，以暴露公共规则中的潜在漏洞，研究人员可以通过将数据收集和分析拆分为不同的研究来规避研究伦理监督。

标签指示在生物医学图像分析中很重要

研究发现，与纯文本描述相比，包含示例性图像大大提高了注释性能，而仅扩展文本描述并不能提高注释性能，专业注释员的表现一直优于Amazon Mechanical Turk的众工作者。

研究论文中的信息寻求问题和答案数据集

Qasper是一个包含1585篇自然语言处理论文中5049个问题的数据集，旨在促进基于文档的、寻求信息的QA，并发现在其他QA任务中表现良好的现有模型在回答这些问题时表现不佳。

时间常识推理与获取综述

鉴于变压器中存在的肤浅推理，强调需要仔细解释研究，以防止评估结果过度妥协，并强调需要适当准备数据集和适当的评估指标。

CONDAQA：一个用于否定推理的对比阅读理解数据集

CONDAQA是第一个需要对段落中否定语句的含义进行推理的英语阅读理解数据集，对当前最先进的模型具有挑战性。

ESTER:一个用于事件语义关系推理的机器阅读理解数据集

理解事件如何在语义上相互关联是阅读理解的本质。最近以事件为中心的阅读理解数据集主要关注事件参数或…

24参考文献

关系抽取中的有效群组注释

本文证明，由于一种简单、通用的技术，即门控指令，可以实现更大的提升，例如将F1从0.40提高到0.60。

萌芽：面向众包的众动任务设计

提出了一种新的元工作流，帮助请求者优化众包任务设计，而Sprout是一种实现此工作流的开源工具，它通过从众包工作人员那里引出混淆点来改进任务设计，使请求者能够快速理解这些误解和整个问题空间。

通过对比集评估NLP模型

提出了一种新的NLP注释范式，该范式有助于缩小测试数据中的系统差距，建议在构建数据集后，数据集作者以小但有意义的方式手动扰动测试实例，从而改变黄金标签，创建对比集。

事件时间关系的多轴标注方案

提出了一种新的多轴建模方法，以更好地捕捉事件的时间结构，并发现事件端点是注释中混淆的主要原因，因此建议仅基于起点对TempRels进行注释。

DROP：一个阅读理解基准，需要对段落进行离散推理

一个新的阅读理解基准DROP要求对段落的内容进行离散推理，并提出了一个新的模型，将阅读理解方法与简单的数字推理相结合，以实现51%的F1。

BoolQ：探索自然是/否问题的惊人困难

研究发现，从隐含数据转换比从复述或提取QA数据转换更有效，令人惊讶的是，即使从大量预处理语言模型（如BERT）开始，它仍然非常有益。

SkuAD:100000多个机器理解文本的问题

建立了一个强大的logistic回归模型，F1得分为51.0%，比简单基线（20%）显著提高。

brat：一种基于网络的NLP辅助文本注释工具

介绍了brat快速标注工具（brat），它是一种基于web的直观文本标注工具，由自然语言处理（NLP）技术支持，并在多类别实体提及标注任务上通过语义类消歧辅助进行标注评估，显示出总标注时间减少了15%。

展示你的工作：改进实验结果的报告

研究表明，仅凭测试集的性能分数不足以得出关于哪个模型性能最佳的准确结论，并提出了一种新的技术：最佳模型的预期验证性能与计算预算的函数关系。

VQA-E：解释、细化和增强视觉问题的答案

这项工作提出了一项新的VQA-E任务（带解释的VQA），其中需要计算模型来生成具有预测答案的解释，并定量地表明，来自解释的额外监督不仅可以产生有洞察力的文本句子来证明答案的合理性，同时也提高了答案预测的性能。