浏览会议记录

我们介绍了用于收集暴露自动预测模型错误的数据的技术。在某些常见情况下，评估预测模型的传统方法往往会忽略罕见的非重要错误，最重要的是，罕见的情况下。。。

Amazon MTurk等微任务市场使在线工作者能够通过基于Web的随需应变服务（所谓的人员服务）提供人类智能。面临大量知识工作的企业可以从增加的灵活性和可扩展性中受益。。。

本文报道了一项自然现场实验的结果，在该实验中，来自付费众包环境的工人自我选择任务，并被认为注意力有限。在我们的实验中，工作人员将来自2×3网格的六张图片中的任何一张贴上标签。。。

在本文中，我们介绍了Digitalkoot，这是一个通过人工计算修复旧文本光学字符识别（OCR）过程中的错误的系统。通过把工作变成简单的游戏，我们能够吸引大量的。。。

目前，许多从业者使用经验法则为在线劳动力市场上的任务定价。不正确的定价会导致任务匮乏或资本使用效率低下。正式的定价政策可以解决这些挑战。在本文中，我们认为定价。。。

人类计算承诺了计算机无法轻易提供的新功能。然而，人类的纪律性不如机械同类，因此容易产生意外或故意的错误。当我们开始。。。

在本文中，我们开发了一种新的语音到文本转录的人工计算算法，该算法仅使用通过在线任务市场或游戏部署的微任务就可以实现专业转录的高精度。算法。。。

众包是研究和企业环境中可扩展数据注释的有效工具。由于众包的开放参与模式，质量保证对任何项目的成功都至关重要。目前的方法依赖于EM型后置。。。

我们描述了一个框架，用于需要智能视觉处理的快速原型应用程序，但对于这些应用程序，尚不存在可靠的算法，或者对这些算法进行工程设计的成本太高。CrowdSight框架利用了。。。

在本文中，我们提出了一种确定在线劳动力市场中任务的近最优价格的机制，该机制通常用于众包。特别是，这些机制旨在处理像Mechanical Turk这样的复杂市场，工人。。。

市场和机构的有效运作需要参与者一定程度的诚实。例如，在劳动力市场，雇主将从提供有意义工作的雇员那里受益，而雇员将从将。。。

众包平台（如Amazon Mechanical Turk）支持构建可扩展应用程序，用于产品分类、照片标记、音频转录和翻译等任务。这些垂直应用程序是。。。

从可穿戴传感器数据中识别人类活动是一个重要问题，尤其是在健康和老年护理应用中。然而，收集足够的标记训练数据是一项挑战，特别是因为解释IMU痕迹是。。。

随着研究人员拥抱微任务市场以吸引人类输入，发布任务的性质从那些需要简单机械劳动的任务转变为需要特定认知技能的任务。另一方面，这种……的数量有所增加。。。

对于自闭症患者来说，我们大多数人毫不费力地驾驭的社交世界可能会让他们感到困惑和不安。目前没有模型来帮助非专业作者，因为他们创建了定制的基于社会脚本的。。。

根据哼唱或演唱的旋律输入找到音乐录音的系统被称为“哼唱查询”（QBH）系统。这类系统使用的搜索键与原始录音更像无伴奏合唱。成功部署的系统。。。

分别或同时使用监督和非监督特征，我们（a）通过Z评分检测并过滤出噪音工人，以及（b）加权工人投票支持共识标签。我们对亚马逊机械土耳其公司的嘈杂标签进行了评估，其中工人。。。

在当今的人工计算系统中，设计任务和工作流是一个困难且劳动密集的过程。人群中的工作人员可以用来帮助规划工作流吗？我们用Turkomatic探索这个问题，这是一个微型工作平台的新接口。。。

众包的出现为改进传统的数据收集和注释方法创造了各种新机会。这反过来为数据驱动机器学习（ML）创造了有趣的新机会。方便。。。

众包市场，如亚马逊的Mechanical Turk，通过将人机计算结合起来，为完成工作提供了巨大的潜力。如今，众包主要用于各种任务的大规模并行信息处理。。。

这项研究旨在探索如何利用人类计算来帮助世界各地经历赤贫的社区的经济发展。正在与肯尼亚农村的一个社区合作，将他们与就业机会联系起来。。。

质量保证仍然是人类计算研究领域的一个关键课题。先前的工作表明，独立协议对低难度任务有效，但有局限性。本文通过提出一种基于比赛选择的。。。

互斥为学习概念类提供了有用的信息。我们将MuSweeper设计为类似MineSweeper的游戏，以收集网络用户的相互排斥。利用不完全信息下的广泛博弈机制，我们。。。

生活在经济金字塔底层的工人往往无法进入现有的众包市场。我们介绍MobileWorks，这是一个基于手机的众包平台，旨在为发展中国家用户提供就业机会。MobileWorks。。。