数据陈述：从技术概念到社区实践

1简介

负责任的计算在一定程度上需要积极应对危害（通常根源于社会结构和不公平），并通过我们的设计、开发和使用计算技术来支持人类繁荣。在这方面，科学和技术界在开发新的工具和过程以减轻人类价值观前景化带来的危害方面发挥着特殊的作用。然而，只有相关技术团体使用和调整这些工具和流程，最终改变实践，这些工具和过程才是有益的。我们在这里考虑如何在实践中实现这样的改变，并介绍我们采用这样一种技术的过程——用于记录中使用的语言数据集的数据语句工具包自然语言处理（NLP）系统——从设想的概念和原型到NLP社区适应和采用的实践。我们认为，技术社区的吸收需要与社区互动，双向分享知识：在社区洞察力的基础上改进技术，同时培训社区成员使用技术。通过共同发展我们的技术工具以及我们的社会结构和实践，我们能够更好地实现对道德问题作出有意义回应的综合技术和实践。

数据陈述最初由Bender和Friedman提出[2]随着人们越来越意识到机器学习（ML）语言技术的方法给系统用户和受系统使用影响的其他人带来了各种危害风险[5,25,30]. 对于任何涉及人类创建的或与人类有关的数据的问题，ML方法都有类似的风险，但具体风险及其与数据收集实践的连接方式因数据类型而异。经过磨练的数据语句是收敛数据集和模型文档提案浪潮的一部分（见第节2)寻求定位技术人员、采购和部署技术的人员以及社区成员，通过对用于培训和测试此类系统的数据提供透明度来减轻潜在危害。¹

工具包是指支持人们执行方法和过程的物理和数字材料[16]. 考虑到文档工具包及其用途，如果人们不使用它来创建文档，任何工具包都不会产生任何好处。此外，如果文档不够详细，也无法访问，那么其益处将受到限制。因此，我们提出了两个相互交织的问题：我们如何调整我们提议的工具包和实践，以便我们希望的从业者能够这样做？和我们如何促进社区参与？在本文中，我们介绍了我们参与社区并从中学习的方法，以及由此改进的工具包，包括修订的模式和提取的最佳实践。我们在一份指南中介绍了修改后的模式和最佳实践，该指南旨在支持数据语句作者创建可供技术人员和需要或想要了解用于构建技术的数据的第三方访问的文档。²从我们对这些结果的描述中可以明显看出，我们将工具包和相关实践视为一个相互交织的系统。最广泛地说，我们的贡献涉及如何发展技术和实践，以解决所处技术社区的道德问题。

文章结构如下。在节中2，我们概述了数据集、模型和系统的最新文档建议，并将数据陈述置于该生态系统中，同时回顾了我们从价值敏感设计中吸取的方法[9]. 我们在第节中阐述了研究者的立场、研究问题和具体方法三，第节4、和节5分别是。章节6概述了工具包的修订，第节7我们对我们的方法和我们所学到的关于数据语句如何适应数据文档实践和从业者活动的知识进行了反思。最后，在第节8，我们对未来的工作进行了展望，包括与更广泛的利益相关者接触，进一步研究数据语句的理解和使用，以及推广到其他数据类型。

2背景

2.2数据报表

A类数据语句由模式元素组成，Bender和Friedman将其定义为“数据集的特征化，该数据集提供了上下文，使开发人员和用户能够更好地理解实验结果可能如何推广，软件可能如何适当部署，以及在基于软件构建的系统中可能反映出的偏见”[2第587页]。版本1的模式由两部分组成：长形式和短形式。长形式包含九个模式元素，每个元素对应于一组关于数据集某个方面的问题或建议描述，例如策展原理、语言多样性或数据集中说话者的人口统计[2，第5节]。简短形式是针对引用数据集的出版物设计的长形式的摘要。鼓励从业者配合介绍数据集的论文使用这两种形式，作为使用数据集的实验报告的一部分，并与根据数据集训练的模型文档一起使用。数据陈述已用于数据集编目工作，以探索现有数据收集中的差距[33]最近的数据表工作表明，文档能够支持开发人员对ML技术中道德问题的认识[4]. 在节中6，图1展示了数据语句模式的第1版和第2版，以及它们之间的区别。

图1。

查看地物

三研究人员立场

我们位于美国的研究团队由易于使用NLP和ML系统的计算语言学家和擅长应用价值敏感设计的信息科学家组成，特别是在缓解计算系统中的偏见方面。所有团队成员都曾参与过为ML系统中使用的数据集开发文档工具包。

4研究问题

在从一个设想的文档工具包转变为一个定位为供研究团体使用的工具包的过程中，我们试图使数据陈述工具包在机构背景、研究人员背景和研究目标方面更加强大。这引发了两个广泛的研究问题：

(1)	NLP模式的数据语句应该如何更新，以更好地支持国际NLP社区中可能使用的项目范围？
(2)	我们如何支持各种机构背景下的从业者撰写数据声明，并促进社区对这种做法的吸收？

5方法

为了在这些研究问题上取得进展，我们采用了两阶段方法，借鉴了Friedman等人的类似方法。[12]. 在第1阶段，为了了解NLP数据集创建者如何理解和利用现有模式（第1版），我们组织了一次以国际社区为基础的NLP从业人员研讨会形式的实证调查（如第5.1). 根据第一阶段研讨会的结果，我们在技术调查中制定了一个临时修订方案。然后在第2阶段，为了学习其他人开发文档建议的努力，我们进行了第二次技术调查，在该调查中，我们对模式和相关文档工具包进行了仔细的分析比较（第5.2). 在整个过程中，我们特别关注（1）NLP数据集创建者如何有效地收集数据语句所需的信息；（2） 识别和开发用于编写数据语句的启发式方法；（3） 管理隐私和道德考虑，尤其是与小群体或弱势群体相关的隐私和道德因素；（4） 数据陈述如何与NLP社区中的其他现有实践相关联；以及（5）如何记录遗留数据集。

6最终产品：修订的方案、最佳实践和指南

NLP社区研讨会（第1阶段）和与数据集数据表的比较（第2阶段）产生了三种产品：（1）修订的模式（第2版），（2）编写NLP数据语句的关键术语和最佳实践列表（通用和特定元素），以及（3）编写NLP数据语句的指南，其中介绍了（1）和（2）以令人信服的方式。如表所示2，大多数修订都是基于社区的研讨会的结果。

修订的模式（版本2）基于社区的研讨会（第1阶段）创建了七个新的模式元素，并更新了其他原始九个模式元素的基本原理、描述和最佳实践。此外，模式元素被重新排序和重组；在一个实例中，将两个元素合并为一个，从而在版本2中总共产生了15个模式元素。这些变化来自于研讨会参与者的明确评论和反馈，以及我们的数据分析。例如，参与者在小组讨论中提出了五个新的模式元素（预处理和数据格式、限制、元数据、披露和道德审查以及词汇表）。我们对参与者数据陈述的分析产生了额外的标题和执行摘要模式元素，并将语音情况和文本特征模式元素合并为一个元素。与数据集数据表的比较（第2阶段）产生了五个额外的修订；所有这些都是对元素的描述。为了说明从版本1到版本2的更改的实质和深度，我们介绍了对两个模式元素所做的更改：Curation Rational和Recording/Capture Quality。

图的顶部1显示了我们对Curation Rational模式元素所做的更改。首先，元素顺序。由于它是版本1模式中的第一个元素，我们观察到研讨会参与者倾向于用有关数据集的介绍性信息重载该元素。作为回应，我们将Curation Rational作为第三个元素，位于新的Header和Executive Summary模式元素之后，这些元素允许更多关于数据集内容的上下文。第二，动机最初，schema元素如何为数据语句的读者服务的动机是在描述元素的内容之后。我们将这个动机转移到了为什么？部分，并包括了Curation基本原理如何支持数据集创建者的额外动机。版本1中的其他一些模式元素也包含了为什么将该元素包含在模式中的动机；我们在版本2中的所有模式元素中都做到了这一点，包括在为什么？每个元素的部分。第三，详细说明最后，我们从两个阶段的分析中得出结论，添加了更多澄清性问题，以便完整的治理理论能够更好地支持数据集中可能编码的社会和/或紧急偏见的表面来源。

虽然治疗原理保留了版本1中元素的原始概念（有详细说明），但对捕获质量模式元素（以前的版本1记录质量元素）所做的更改说明了对范围以及元素名称和描述的大量重新想象。图1还显示了我们对“捕获质量”模式元素所做的两个更改。首先，范围在分析研讨会参与者的数据陈述时，我们发现这一最初旨在捕捉与所用视听设备相关的技术偏见的元素被创造性地用于记录更广泛的技术考虑。其中包括用于校正光学字符识别（OCR）输出的系统、从在线平台请求数据时API的可靠性，以及由于链接数据变得不可访问而导致的数据退化。因此，我们扩大了元素的范围，以便在捕获世界上语言使用的观察结果以用作数据集中的数据时，包括这些和其他可能的技术偏见来源。第二，理论基础。如前所述，我们添加了为什么？部分向数据语句读者和数据集创建者传达这些注意事项的重要性。

最佳实践我们对数据报表编写者的建议采用最佳实践的形式，通过分析研讨会参与者的反思以及参与者在活动期间编写的数据报表的优缺点来确定。有16种通用最佳实践适用于数据语句元素或与整个数据语句相关的其他方面。此外，还有47个特定于要素的最佳实践，每个要素从一个（针对言语情境和文本特征、其他和词汇表）到九个（针对说话人和注释人人口统计）不等。最佳实践传达了三个层次的重点，在语言上有所区别。第一个是我们认为必须遵循的最佳实践，以创建成功的数据声明，并将其表述为必要条件。（然而，在许多情况下，命令性指令是考虑行动的过程。）第二个是我们强烈建议的最佳实践，用应该第三个是我们提出的最佳实践，作为一种良好的继续方式，用推荐。通过三位作者对我们认为数据报表作者在大多数情况下提供哪些信息是可行的进行商议，确定了每种最佳实践的重点级别，以及读者需要什么样的信息数据来回答有关偏见可能来源的问题。

作为最佳实践的说明，以下是一般最佳实践#4，内容如下：

一些数据陈述元素涉及可能需要提前规划才能收集的信息（例如，人口统计信息）。我们建议在项目开始时确定要收集哪些信息以及如何收集，并留出适当的时间供道德审查委员会批准。

此最佳实践源自研讨会参与者的意见，这些意见主张在数据集开发过程的早期就着手处理数据声明，例如“建议在数据创建过程中起草数据声明，因为此时比稍后更容易获得某些信息。”这一通用最佳实践还反映了对数据集创建者的积极响应，这些创建者可能对收集和处理人口统计信息感到不安，即使他们了解这些信息对于创建代表性数据集的重要性。

数据语句编写指南。为了帮助技术人员、学者和其他人使用修订后的模式（第2版）编写数据语句，并借鉴最佳实践，我们创建了第三个产品，其形式为“编写数据语句指南：用于自然语言处理”[三]. 该指南将第2版模式元素和最佳实践整合到一个集成文档中，该文档的组织旨在支持数据语句编写过程。首先是贯穿数据语句编写过程所有方面的一般最佳实践（共16个），其次是与语言数据类型相关的关键术语：注释器、无序语音、引出数据、发现数据、语言数据、语言多样性、说话人、语音合成文本和文本。接下来是15个模式元素，每个元素都位于自己的页面上。对于每个元素，我们提供了一个基本原理（为什么？)，描述（什么)和特定于元素的最佳实践。大多数页面都有足够的空白空间用于记笔记和用户注释。侧边栏“模式图”起到了记忆辅助的作用，有助于在相关元素之间切换。该指南以两个附录结尾，第一个附录用于将模式版本1转换为版本2，第二个附录用于设置与其他文档工具包相关的数据语句的位置。

7工艺和产品反思

论方法论我们采取了两阶段的方法，首先与NLP从业者直接在他们自己的工作背景下编写数据语句，然后使用密切相关的文档工具包进行比较分析。在反思我们的方法论战略时，我们可以提出几点看法。首先，遵循价值敏感设计的三方方法，我们采用的两种方法代表了不同类型的调查。具体而言，研讨会是一项实证调查，让参与者直接参与数据陈述撰写过程，并分享他们的见解和建议，以及他们为自己的数据集生成的数据陈述工件。因此，这种实证方法激发了参与者的创造力，并允许参与者以他们希望的任何方式表达自己。然后，我们进行了两项技术调查：模式的第一阶段重新制定和最佳实践的开发，以及与密切相关的文档工具包的比较分析。比较分析侧重于两个工具包的技术结构和细节。这种技术方法提供了系统和全面的表面级比较，并且能够很好地揭示中间版本2模式中的遗漏。其次，与单独使用这两种方法相比，同时使用经验和技术方法产生了更广泛的改进。其他希望改进类似工具包的人可能希望采用类似的战略：结合经验和技术调查。

进一步考虑研讨会，我们接下来提出两个特别感兴趣的方面：一个来自参与者组成，另一个来自过程。在参与者构成方面，与来自不同国家和不同机构研究背景的NLP从业者直接接触，为我们提供了获取他们集体智慧和创造力的途径。作为一个团队，他们的深度和广度帮助我们了解在哪里可以改进版本1数据语句模式以更好地满足广泛的需求和背景，如何通过结构化和详细的数据语句编写指南更好地支持数据语句编写者，以及与他人分享哪些关键见解和最佳实践。考虑到我们的目标是创建一个文档工具包，让来自不同于美国学术界的机构环境的研究人员可以使用该工具包，这一点尤其有价值。来自不同文化的研究人员帮助我们了解了关于演讲者和注释者的特定类型的数据被视为敏感数据的不同方式，以及围绕道德审查的不同程度的机构支持。这些经验既指导了模式的设计，也指导了我们阐述的最佳实践。就过程而言，采访数据集开发人员作为获取有意义文档的一种手段的做法让我们得到了一个更普遍的观察结果，即，由外部人员进行的采访是在有意义的粒度级别上从数据集开发员处获取内容的有效方法。其中，术语文档通常会引发一种枯燥的异步实践&文档作者写道，后来其他人read-we发现，访谈技术使数据语句的编写具有交互性，因此，对数据语句的作者和（未来的）读者来说都更有意义。

论自动化。在研讨会参与者（以及与我们讨论过数据报表的NLP社区其他成员）的建议中，有关于自动化和数据报表的建议。有两种变体：我们可能会问数据语句的生成在多大程度上可以自动化，以及数据语句在多大范围内可以自动处理。在这两方面，我们都看到了保留本流程手册的价值。对于前者，我们认为，编写一份全面而有益的数据声明需要对所记录的数据进行深思熟虑，而自动化往往会在作者和数据集之间产生距离。对于后者来说，非常重要的是，数据声明的设计应使来自广泛利益相关者群体的人类读者能够访问。将它们设计为自动处理可能会降低它们的可读性。从这个意义上说，我们看到数据语句与其他类型的元数据（如都柏林核心元数据标准）有很大的互补性[31,32]. 此类标准支持数据集的可发现性；数据语句为发现感兴趣的数据集的读者提供有关其内容和上下文也就是说，鼓励数据语句作者使用BCP-47语言代码，以便自动确定哪些语言在数据目录中表示，重要的是，哪些语言尚未表示。正如原始数据声明文章中所设想的那样[2]，这些信息将使该领域成为一个集体，系统地填补代表性不足的语言的空白。与前面的观点一致，这个特定的自动化任务不会干扰主要手动编目过程的好处。

关于未预期用例从我们的角度来看，其中一个更有趣的结果涉及数据语句的用例。回想一下，数据陈述旨在减轻语言技术中排斥和偏见的危害，并通过明智的数据集选择、更彻底的数据集分析，以及为所有NLP从业者带来NLP数据的道德考虑，支持该技术在未来应用中的透明性[2]. 也就是说，研讨会参与者确定了其他几个用例，包括在提高数据集的可访问性方面与README文档代码进行类比，提高NLP研究对其他领域的可访问度，促进数据存储库元数据，以及作为仔细开发数据集的规划工具。这些意料之外的使用表明需要对数据集开发、集成和通信提供更广泛的支持，以及增加数据创建和数据集维护工作的价值[27]。

论文献实践的情境性。通过与数据表模式的比较，我们可以看到数据语句的初始开发上下文如何塑造生成的工具包。该上下文的两个关键特征是，数据语句（第1版和第2版）是从学术界的角度开发的，具体侧重于语言数据集。我们看到了学术背景的影响，数据陈述试图补充而不是包含IRB所做的工作，在披露和道德审查元素中包含了指向任何IRB文件的指针。

我们发现，我们对语言数据的特别关注使我们的工具包具有几个关键功能。首先，我们能够在模式中提示与语言数据集（例如方言、体裁）的突发偏见问题相关的特定类型的信息。其次，我们对数据（语言用户生成的语言）和注释（添加到该语言数据的任何附加标签）有明确的区分，并且我们会提示有关每个过程中所涉及人员的信息。我们认为，将这些分离出来，将使数据集和技术用户能够在出现问题时更好地诊断问题的根源。第三，也可能是最重要的一点，通过将我们的工具包建立在特定的数据类型中，我们能够使我们的建议更具体，从而使数据集生产者更容易编写数据语句，并使所有背景的数据语句读者更容易理解数据语句。

论生产摩擦。这里报告的工作是跨学科团队的成果。作者麦克米兰·马约尔和本德是计算语言学家；作者弗里德曼（Friedman）是一名设计师和技术专家，擅长技术设计中的人类价值观。浏览我们的跨学科讨论既困难又耗时。我们发现，无论是在词汇层面还是在其他领域的结果背后的工作层面，都很容易产生误解。然而，与此同时，我们发现由此产生的摩擦是有生成性的，花时间达成谅解既有助于获得有价值的新见解，也有助于更广泛的社区获得研究产品。例如，我们开发了数据陈述模式中的关键术语，以帮助我们相互理解，并支持非NLP专家参与和处理数据陈述。最终，我们发现，跨学科的经验带来的价值甚至超过了满足这种必要性：关注动荡而不是试图克服它，并在学科差异中给予宽厚和尊重，这给我们带来了学习机会和见解，而这些都是我们必须积极努力的结果清晰和相互理解。

关于标准化：为什么、什么和什么时候？文档架构开发的不同上下文、文档的不同目标对象以及开发人员自身的不同经验导致了各种文档架构的激增。所有这些不同的格式都给文档的一致性和广泛性带来了挑战。尽管对少数文档模式的标准化提供了一种前进的方式，但它也提出了另一组问题：模式本身还是文档的内容应该标准化？在什么司法管辖区应该对文件进行标准化，特别是在背景和数据类型可能差异很大的跨学科领域？在NLP的情况下，文本形式的语言数据通常伴随着视频和图像数据，这些数据对偏见和道德数据管理有其独特的考虑。现在是时候融合和标准化了吗，还是最好留点时间在未来进行更多创新和标准化？我们应该考虑创新-融合-接受生命周期的什么节奏，应该避免哪些节奏？尽管涉及标准化的机构，如NIST[28]，ISO标准[19]和IEEE[18]，致力于在各种技术领域的文档方面提供广泛的指导，我们预计，这些问题以及本地化研究社区的其他问题的答案将需要积极和包容的社区参与，以鼓励吸收和有效的文档过程、实践和产品。

论协同进化的技术与社会结构.价值敏感设计为我们指出了技术与社会结构共同发展的需求和机会[9]. 换句话说，通过开发技术工具和工具包以及使用它们的社会环境，我们有了更大的设计空间，可以参与其中，也有更大的可能性确保最终的实践能够响应个人、社区、领域和社会的需要。做这种共同进化的工作是一项复杂而微妙的工作。莫和海萨洛[23]在芬兰、马加萨和弗里德曼的一座历史建筑的能源转型背景下，探索这种共同进化[20]这样做是为了《华盛顿州获得司法技术原则》（Washington State Access to Justice Technology Principles）。我们改进数据语句文档工具包的工作为这种共同进化提供了一个重点突出的案例研究，我们在其中直接与实践社区合作，以改进技术并明确确定围绕技术使用的最佳实践。我们的最终产品反映了这种共同进化的方法，产生了一个修订的文档工具包（数据语句模式版本2）和一组用于编写数据语句的最佳实践和指南。当数据语句工具包集成到社区实践中时，可以使用这些方法来了解集成过程如何改变社区，以及这些社区更改如何需要再次修改模式。我们采取的总体方法以及我们与社区同时参与技术工件开发的一些特定方法，将对其他希望在自己的设计环境中追求这种共同进化的人有用。

8未来的工作

这里报告的方法和途径在从技术概念到广泛的社区实践的轨道上取得了进展。还有更多工作要做。我们为今后的工作指出了三个有希望的方向。

与更广泛的利益相关者接触。价值敏感型设计需要与直接和间接的关键利益相关者群体进行强有力的接触。数据报表的利益相关者分析产生了许多不同的利益相关群体，每个群体都可能以不同的方式与数据报表交互。这些人包括但不限于那些（语言学家、数据科学家等）创建数据集、那些（计算机科学家、数据科学家等）开发经过数据集培训和测试的系统由其他人创建，这些人（机构决策者和组织中的IT人员）选择经过数据集训练的系统由其他人创建，这些人（医生、人力资源人员、法官、律师、贷款官员等）使用经过数据集训练的系统的输出由他人以及可能永远不要接触那些经过数据集训练但仍受到影响的系统通过其他人对结果的解释和行动。所有这些利益相关者群体都需要纳入数据陈述的设计过程，以确保文档包含有用的必要信息，并且信息以可读、可理解和可用的形式和格式呈现给每个利益相关者团体。我们目前的工作主要针对前面提到的第一个利益相关者群体——那些创建数据集的人。

9结论

只有当旨在支持这些结果的工具和技术被采纳并集成到技术和非技术社区的日常实践中时，负责任的ML方法才会被购买。在这里报告的工作中，我们探讨了如何支持在一个特定的技术社区中使用这样的工具包：NLP社区中的数据语句。在此过程中，我们还演示了如何利用与技术社区的接触来改进工具包，从而通过一次干预实现两个目标。以这种方式框架，我们的工作做出了四个关键贡献。首先，我们提供了数据语句模式的修订版本，以及一组编写数据语句的最佳实践，这两种实践都在数据语句编写指南中提供。其次，我们开发了一种方法，让技术研究团体参与ML系统文档工具包的理解和调整，包括研讨会结构和交互策略。第三，关于改进文档工具包本身，我们提供了进一步开发和改进此类工具包的方法和实践。最后，也是最普遍的，我们演示了如何从早期的技术概念和创新转向围绕更强大的技术工件的社区实践。