1介绍

对工人的监督和对跟踪工人行为作为衡量生产力的一种手段的痴迷并不是新现象。然而,针对这些做法的有效政策实施和监管干预要么不存在,要么很少。一些政策框架要求产品和服务“合法”。然而,当没有法律或监督来保护工人免受监视和生产力评分技术的影响时,工作场所就变成了“这些系统的试验场所”[1].

工作场所越来越多的数据收集和人工智能(AI)技术的使用影响到所有行业。本政策入门和路线图侧重于工作场所监督和生产力评分工具和实践。《初级课程》分为两个部分,为一系列利益相关者——工人、决策者、工会、雇主和供应商——提供了对这些技术的见解,而《路线图》则为变革提出了可行的建议。

在以下部分中,利益相关者可以找到:

  • 概述市场上的工人监督和生产力评分工具,以及雇主的采用趋势。

  • 类似雇主做法的简要历史;工人监督和生产力评分。

  • 了解如何破坏人权,以及如何通过部署这些工具限制工人获得资源和机会,以及

  • 对这些工具的错误假设。

  • 最后一部分为利益相关者提供了路线图,以及采用不同政策的可能性。

该分析汇集了几个主要的政策框架,这些框架应指导政策和监管决策,尤其是在美国。这些是《世界人权宣言》[2]《经济合作与发展组织(OECD)可靠人工智能负责任管理原则》(OECD人工智能原则)[]《公平信息惯例》(FIP)和《AI权利法案蓝图》(蓝图)[4].

联合国一致通过了《世界人权宣言》,承认所有个人都有权享有固有的、不可剥夺的权利。该文件由埃莉诺·罗斯福(Eleanor Roosevelt)主持的一个委员会起草,并在1948年的大会上通过。

2022年末,白宫科学技术办公室宣布了《蓝图》,该蓝图侧重于“当监视技术与实时或后续自动分析并列使用时,以及当此类系统可能对个人或社区的权利、机会或访问产生重大影响时”从而对人权产生重大影响。《蓝图》将这些技术定义为“为检测、监控、拦截、收集、利用、保存、保护、传输和/或保留数据、识别信息或与个人或团体有关的通信而销售的或可合法使用的产品或服务”[5]. 蓝图也与1973年的报告相类似记录、计算机和公民权利[6].

Allen和Rotenberg总结了FIP的起源:“公平信息实践最初是在美国卫生、教育和福利部1973年的开创性报告中阐述的记录、计算机和公民权利[6]. 计算机科学家威利斯·威尔(Willis Ware)是负责该报告的咨询小组主席,他被誉为“公平信息实践”(fair information practices)一词的创造者该框架立即产生了影响,因为它为次年的《联邦隐私法》奠定了基础。简单地说,公平信息惯例分配了收集和使用个人信息的权利和责任。收集和使用个人信息的组织承担责任,而个人信息被获取的个人获得权利。大多数现代隐私法都遵循这种结构”[7]. 在立法过程中,国会制定了《隐私法案》,其中包括八项原则:收集限制、数据质量、目的规范、使用限制、安全保障、公开性、个人参与和责任[8].

美国为2019年宣布的OECD AI原则的制定做出了重大贡献(该原则随后也被采纳为G20原则),现已得到50多个国家的认可。这些原则包括包容性增长、可持续发展和福祉;以人为本的价值观与公平;透明度和可解释性;稳健性、安全性和安全性;和问责制。

作为行政部门的一份主要政策文件,《蓝图》将基本权利和民主价值观带到了我们应该如何评估技术及其影响的最前沿。蓝图还强调了OECD AI原则和FIP的重要性。该蓝图是联邦政府不同部门合作的产物。该文件提出了对保护权利和民主价值观至关重要的五项原则。人们可以把《蓝图》解读为对工人的召唤:

  • 安全有效的系统:应保护您免受不安全或无效系统的影响。这包括保护您免受自动化系统使用或影响带来的可预见危害。

  • 算法识别保护:你不应该受到算法的歧视,系统应该以公平的方式使用和设计。

  • 数据隐私:您应该通过内置的保护来防止滥用数据,并且您应该可以选择如何使用有关您的数据。

  • 注意事项及说明:你应该知道正在使用的是一个自动化系统,并了解它会如何影响你。

  • 人类替代方案、考虑和回退:对于导致歧视或其他伤害的系统,您应该能够获得适当的人类替代品和其他补救措施。

2底漆

2.1概述

数字工人监控是指使用数字工具监控工人活动。雇主使用多种工具进行此类监督。近年来,发布了数据库,用于跟踪各种新型劳动技术工具的用例,包括用于工人监督和生产力提高的工具[9,10]. 为了更全面地了解现代工作场所监控的必要性,有必要进一步详细探讨这类监控的三个示例。Prodoscore是一个工人监控软件,它部署了一个专有算法,为工人分配每天100分的生产力分数[11]. 更具体地说,Prodoscore考虑了各种输入,如发送的电子邮件、拨打的电话、公司消息应用程序上的消息和数据库上的活动。然后将分数发布给管理人员,并进一步进行排名,这意味着管理人员可以评估不同员工的生产力与其他员工的生产力之比[12]. 另一款监控软件RemoteDesk使用面部识别技术来监控工作中处理敏感信息的工人。例如,可以为经常查看信用卡信息的员工部署这样的系统[13]. 如果系统检测到在显示信用卡时有其他人正在看屏幕,或者如果看到了录音设备,它将发送警报。然而,如果工人在工作中工作或吃饭,这个系统也可以发出警报。运送货物或食物的工人、仓库工作站的工人或在建筑物内四处移动的工人(例如建筑工人或家政工人)都可能受到不同种类的监督。另一个例子是UPS用多个传感器改造其送货卡车,以跟踪司机的休息时间,并进一步促进送货优化[14]. 由于安装了这些传感器,UPS能够增加每天交付的包裹总数,同时需要的司机明显减少。

随着监视技术的兴起,人们对此类工具的普遍性的认识也在不断增强。在一个智能设备和传感器无处不在的时代,对工人监控技术普及率的估计各不相同。然而,所有可用的估计都表明,这些技术的采用正在迅速增加。例如,

  • 2022年《纽约时报》的一篇文章发现,美国十大私营雇主中有八家使用某种生产率跟踪工具[15].

  • ExpressVPN与Pollfish合作开展的一项研究调查了2000名雇主和2000名远程或混合工作岗位的员工。78%的雇主报告使用员工监控软件跟踪员工绩效和/或在线活动[16].

  • Gartner的研究显示,自疫情爆发以来,使用员工跟踪工具的大型雇主数量翻了一番,达到60%,预计在未来三年内,这一数字将上升到70%[17].

  • 《华尔街日报》报道了研究集团国际数据公司(International Data Corp)2022年进行的一项调查,该调查发现67%至少有500名员工的北美雇主部署了员工监控软件[18].

  • 对工作场所监视的热情研究表明,85%的雇主使用工作场所监视[19].

  • 10大VPN报告显示,2022年1月全球对员工监控软件的需求增长了78%[20].

  • Digital.com调查发现,60%的雇佣远程员工的公司使用跟踪软件。2022年1月发布的这项调查针对1250名美国雇主使用监控技术的情况进行了民意调查[21]. 此外,88%的公司在实施监控软件后解雇了员工。这项调查还揭示了这些雇主正在部署的特定类型的跟踪功能:76%的雇主使用工具跟踪网页浏览和应用程序使用情况,60%的雇主捕获随机屏幕截图,54%的雇主捕获特定于块的内容,44%的雇主跟踪击键。然而,使用率因行业而异,无论是在低工资的工业环境中,还是在有计费工时工作模式的就业关系中,如广告和营销(83%的公司报告使用监控工具)、建筑(71%)以及商业和金融(60%),使用率都可能是最高的。

雇主为监测技术提供了广泛的理由,其中大多数围绕着更好地控制工人和提高生产力。例如,雇主声称,监督和生产力评分工具对于识别生产性和非生产性工人至关重要[15]. 同样,Digital.com调查有助于了解雇主的动机。当被问及为何使用监控软件时,雇主提供的主要原因是了解工人如何使用时间(79%),确认工人全天工作(65%),并确保工作设备不用于个人用途(50%)[21].

2.2工人监督历史

可以说,自市场革命开始以来,雇主一直对监督和提高工人生产率感兴趣。始于19世纪初的市场革命是工业史上的一个关键时刻,因为这是第一次有越来越多的美国人去工厂为雇主工作。与美国人以前在农场或贸易商店所做的工作相比,由轮班制、生产配额和时钟管理的工厂工作从根本上来说更加严格和受控。许多历史学家认为,这一时期见证了美国历史上一些最根本的变化[22].

当工厂工作变得更加稳固时,雇主对如何通过密切跟踪工人活动来提高生产力的更尖锐的问题感兴趣。工作、工时和工资之间的结合成为工厂内的标准[23]. 弗雷德里克·温斯洛·泰勒(Frederick Winslow Taylor)是世界上第一位管理顾问科学管理原则并为如何更好地管理、监控和控制工人以提高生产力制定了准确的愿景[24]. 同样,这个时代也有一些趣闻轶事,比如亨利·福特(Henry Ford)拿着秒表在工厂里踱步,以提高工人的效率,或者雇佣私人调查员来了解工人的私人生活如何可能阻碍生产力[14].

代表雇主为了生产力而进行跟踪的愿望并不是21世纪所独有的。然而,有必要注意到,新技术的发展使监测任务比以往更加可能。毕竟,任何公司出于监管目的可以部署的人力资本都有一个自然的上限。回到亨利·福特(Henry Ford)的例子,只有这么多的工厂楼层经理或私人调查员被雇佣和部署。然而,新技术使追踪工人变得更容易,也更具成本效益。摄像头和传感器几乎可以安装在任何地方。进行工作所需的其他连接设备(如智能手机、可穿戴设备、笔记本电脑等)可以同时用作监视设备。

另外两个趋势进一步加强了监测工具的使用。首先,在过去的几十年里,越来越多的美国人开始远程办公或远程工作。例如,从2005年到2012年,79%以上的美国工人开始远程办公[14]. 越来越多的在线平台和应用程序也催生了临时工。当然,由于新冠肺炎疫情,这一数字随后飙升[25]. 在疫情期间,许多雇主转向远程工作。即使疫情控制有所缓解,远程工作或混合安排仍然是常见做法。考虑到现在在实际办公室工作的工人越来越少,公司加倍使用监视工具,以恢复对办公室的控制。

工人监督、生产力评分和对基本权利的影响

人工智能和算法系统的开发人员承诺,通过提高流程的效率、有效性和可扩展性,“精简和重新定义”工作场所,降低成本,规范规则的应用,从而提高盈利能力,这些系统将使组织受益[15]. 然而,市场上还有一组可用的人工智能应用程序,它们向雇主承诺了不同的能力来跟踪、监测和评估他们的工人。对员工进行全面监督的权力对许多雇主来说都很有吸引力。这些技术在工厂环境中再次流行。算法监控过去和现在都不成比例地关注低收入工人。,这些工人现在分布在不同的工作环境中,如物流、酒店、食品和服务交付工作,或在线平台公司的临时工[26]. 然后,有色人种工人不成比例地从事这些工作。然而,成本的降低和数据收集、处理和保留能力的提高也使监视范围扩大到了粉红和白领工人。工人监督正成为所有工作场所的普遍现象。当监视从工厂或仓库转移到工人在其他场所(如家庭办公室、车辆)使用的设备,甚至是随身携带的设备时,监视就变得不可分割——它还“渗入”工人的私人生活[11,14]. 当这些工人通过监控系统变得超可见时,雇主在算法决策系统背后变得更加隐形。

3.1工人监督

人们更容易注意到我们周围的物理摄像机。然而,由于有多种形状和形式的监控技术,工人们并不总是容易知道自己正在被监控,他们的数据也会被收集。在美国,雇主可以在不通知工人的情况下使用这些工具[27]. 工作场所数据采集供电监控可以通过以下列出的硬件和软件组合实现。

硬件和软件

分析

数据

计算机(笔记本电脑、平板电脑)

智能手机

可穿戴设备(健身跟踪器、智能手表、人体摄像头)

物联网(RFID传感器、热成像、计数器、WiFi路由器、GPS)

ID徽章(配备麦克风和加速计)

摄像头(闭路电视、笔记本电脑摄像头激活)

屏幕截图

按键记录

通话记录

语音助手录音

生物特征识别

生产力跟踪

风险评估

文化契合度

输出计数

工作场所分析

内部人员威胁

轮班/工作场所访问的生物识别ID验证

产出(完成的任务/项目/交易/销售)

通信(电子邮件、文本、聊天、语音、协作工具)

社交(帖子、评论、赞、第三方社交媒体背景调查)

参与度(日历活动、在线时间)

搜索历史记录(浏览器搜索词、访问的网站)

位置(访问管理、地理位置跟踪、地理围栏)

健身(活动、处方)

登录(用户ID和密码捕获)

3.2生产力评分

“不是所有可以计数的东西都能计数。也不是所有重要的东西都可以计数。”-摘自威廉·布鲁斯·卡梅隆[28].

新技术的吸引力和供应商声称为工人提取可操作的“生产力”、“风险”或“适合”分数,导致市场上出现了各种黑盒算法产品[29]. 这些产品收集了大量数据点,并将其与主观规则进行比较,以为工人提供分数或推断出某些行为特征。然后,人力经理可以使用这些分数来确定员工的效率、生产率、公司资产风险和声誉。分数也会影响工资、福利、晋升、纪律处分甚至解雇的决定。在极端情况下,这些决策可以自动化,甚至不需要人工管理人员进行审查和验证。

当人们想到监视和评分系统是如何工作的,以及它们是如何连接的时,将这个过程分解成更小的部分可能会有所帮助。首先,需要一种跟踪和记录工人活动的方法。公司提供的设备(手机、平板电脑、可穿戴式健身跟踪器)、摄像头、无线连接路由器、传感器等硬件可用于收集员工通信、在线活动、移动、工作输出等方面的原始数据。然后,一旦收集到数据,需要一个算法模型来分析收集的数据,并对工人的行为和绩效进行推断或确定。开发人员就如何收集数据以及如何构建这些AI模型做出各种设计决策。有时,可能有正当理由安装某些数据收集技术以确保工人的安全。或者,法律可能要求雇主记录工人的通信。然而,除了这些非常有限的原因之外,大多数这些技术都是建立在有问题的设计决策之上的。本文中选择“监督”一词而非“监督”是有意的。监督承认雇主对工人的权力,以及普遍收集工人沟通、参与和互动数据的做法,这些数据主要用于雇主的利益。然后,这些数据可以用于控制和操纵工作参与和合同谈判(如果存在合同)。

这些评分系统的供应商声称,收集的监测数据可用于推断工人与其角色相关的生产力、风险或适合性。这些声明和嵌入式设计决策包含了根本错误的假设,例如技术能够正确捕捉人类复杂的本性,或推断情感和情绪,或人类行为总是可以预测的。使用监视和计分技术也侵犯了个人的权利和自由。这些技术和其中包含的假设可能与基本人权直接矛盾[4]. 尽管不可能兑现营销承诺,但这些系统仍能在业务决策者中找到买家。

人类尊严:监视首先会降低人的尊严。即使工人了解监控技术,他们也可能不会因为担心激进的数据收集或算法决策而离职。如果要求工人同意,工人需要在他们赚取工资的能力和收集数据之间进行选择。他们的选择自然有利于就业。在雇主和工人之间权力不平衡的情况下,不能将同意视为自由或知情的同意。工人们失去了对自己身体、动作甚至社交活动的隐私控制[30]. 谁来界定什么是雇主的关键信息?在没有法律或有组织的劳工保护的情况下,工人们只能自己防御监视。边界线绘制在他们的身体上。

随着人类的复杂性、参与度、愿望和创造力被减少到数据点和虚假的相关性,人类的尊严在评分系统中再次受到破坏。互动背后不再有人类故事,也不再有“全身心投入工作”的能力。工作者的本质、存在的复杂性和人类互动可以归结为供应商和雇主认为重要的数据以及可以收集的数据。

法律学者Ifeoma Ajunwa也强调,特别是可穿戴数据采集技术可能会带来新的法律挑战,例如雇主可能参与非法监视(定义见《国家劳动关系法》)“当它以一种“与众不同”的方式对参与协同活动的员工进行观察,从而对其进行强制监督时[31]“此类做法还破坏了公平信息惯例等基本原则,其中包括收集限制、目的规范、使用限制、责任、安全、通知、选择和数据最小化[32]. 例如,最初由第三方(如健康或保险公司提供的健身追踪器)通过雇主收集的数据,最终可能会被用于限制工人在其他地方获得资源和机会[14].

隐私权:工人监控中最常被提及的问题之一是侵犯隐私权。隐私权被视为一项基本人权。在英国,巴克莱银行因涉嫌监控员工而面临11亿美元罚款[33]. 在德国,数据保护监管机构因电子零售商notebooksbilliger.de使用摄像机监视工人而罚款1260万美元[34]. 然而,在美国,当员工使用组织提供的设备或网络时,雇主可以收集信息。在没有联邦隐私法规、隐私监管机构或任何限制工人监督做法的法律的情况下,现状允许雇主根据自己的利益做他们认为合适的事。然而,法律并不总是意味着道德。

经合组织(OECD)最近的一份工作文件《工作场所人工智能》(AI in workplace)强调,人工智能系统的使用可以“扩大道德缺陷并使其系统化,从根本上改变工人与管理者之间的关系”[35]. 一些监测做法跨越了工作和私人生活的界限,雇主可以在这两个领域捕捉到有关工人的非常隐私的信息。例如,雇主可以(1)进行社交媒体监控,(2)在办公室进行视频监控,(3)要求员工使用智能助理记录对话,或打开笔记本电脑摄像头,(4)在一天中随机拍摄监视器的屏幕截图,或(5)迫使员工在个人手机上下载移动应用程序,以便在工作时间以外继续收集信息。2022年,荷兰一家法院裁定,一名雇主要求雇员每天开几个小时的网络摄像头并共享屏幕,这侵犯了尊重私人和家庭生活的权利。在德国,数据保护监管机构对零售公司H&M处以4100万美元的罚款,罪名是非法监视员工并“过度”记录员工的家庭、宗教和疾病[36]. 2017年,欧洲人权法院做出了类似裁决[37]. 这种入侵也可能导致受1964年《民权法案》第七章保护的信息被无意披露[38](如性别、种族、肤色、国籍或宗教、性取向等)或《美国残疾人法案》(“ADA”)。尽管非歧视性法规阻止雇主根据这些受保护的信息做出就业决定,但了解这些信息可能会导致潜在的无意识偏见[26,39]. 监督的目标从工作转移到工人身上。如果雇主不知道此类受保护的信息,则会给雇主带来法律风险,并可能导致歧视指控[40].

表达权:监督员工私人和社会互动的能力会破坏言论自由。通过监控电子邮件、聊天、电话交谈,雇主可以了解员工的想法,而不会区分个人通信和专业通信。监督知识可以迫使员工自我过滤或自我调节他们的表达和想法。在解读福柯的“自我技术”时,马诺卡强调了对个人的监督对自我约束和自律的力量[41]. 在这种情况下,意识到受到监视的工人最终可能会自我克制,而不会受到雇主的任何胁迫或使用武力[42]. 雇主对监督沟通的兴趣也波及到了个人生活。越来越多的公司对员工或求职者的社交媒体帐户感兴趣[43]一些人甚至拥有专利音频技术来窃听员工和客户之间的对话[44]. 一些公司要求登录社交媒体帐户以监视这些帐户。在某些法律保护这一边界的州,雇主可以通过第三方供应商继续这种做法。这些供应商分析应聘者和员工的社交媒体存在和互动,并向雇主提供临时或持续的风险评分。风险评分模型可能会产生虚假的相关性,但许多雇主仍将结果作为第三方评估来进行雇佣决策。知道雇主可以看到他们的社交媒体帖子并对其采取行动,这会阻止员工在工作场所之外表达他们的真实身份(即性取向、宗教、能力等)。员工也可以避免发布关于社会、经济、政治或其他社会问题的帖子。这最终会产生重大的社会影响。

数据保护权:人工智能监控技术支持的数据采集无处不在。如果没有联邦隐私立法或强有力的工人保护,雇主不仅可以收集数据,还可以出于不同目的与第三方进一步共享数据。工人可能无法访问收集到的关于他们的数据,也无法对收集实体可能对他们的数据做什么有任何发言权。大多数情况下,工人甚至可能不了解数据的全部复杂性、对数据的推断,或可能的影响或危害的程度。加州大学伯克利分校劳动研究与教育中心[1]和CoWorker.org的[45]研究表明,此类数据收集缺乏明确一致的保障措施。数据泄露可能会影响员工在工作场所之外获得福利、资源和机会。

集体行动权和权力:监督的性质创造了一方,由其决定监督、收集数据并从其结论中获益;以及受该决定影响的另一方。当工人试图通过个人抵抗或集体行动来减少权力失衡时,这些数据也可以用来压制受保护的集体活动,如工会化或申诉。换言之,没有保护的工人“缺乏足够的议价能力来对抗侵入性的监视形式,监视甚至被用来阻止和阻止工会的成立[46]”.

历史上有许多公司雇佣私人调查员监督工人的活动以防止集体行动和破坏罢工的例子[47]. 美国技术评估办公室1987年的一份报告,标题为“电子监督员:新技术,新紧张局势”提供了对电子雇主监控系统造成的紧张局势和考虑因素的历史景观分析。报告列出了隐私、公平和工作生活质量等主要关注点。公平性所包含的因素包括“合理的标准、工人对监测系统的范围和使用的理解、工人对记录的质疑或更正能力以及工人参与系统设计”该报告明确指出,美国法律中没有任何法律要求,即监督必须“公平”,工作必须精心设计,或就工作标准与员工重新协商,除非这些问题在工会合同中得到解决[48]“该报告承认,美国工会化程度较低,而且监督问题如何为一些以前没有组织的公司创造了更多的集体行动动机。

不幸的是,在本报告发表35年后,工会的成立率低于1987年的比率,技术允许更具侵入性的数据收集,工会的内部能力应对这些监督做法还有很多需要改进的地方。凭借无处不在的信息收集能力,雇主可以利用新兴技术对工人施加权力。由于这样的信息劣势,算法“充当了企业权力的乘数,而工人方面没有平衡剂[49].” 2021年,西班牙通过了一项法律,要求在线交付平台告知工会算法如何影响工人的工作条件[50].

雇主有义务“提交‘监督报告’,以报告其在劳动争议方面的某些支出和安排[51,52].” 支出显然包括监测技术和活动。然而,当工人和工会很少意识到秘密监视做法时,很难让雇主对其透明度义务负责,也很难挑战公平做法。学者帕斯奎尔(Pasquale)和西特龙(Citron)建议:“保密是歧视者最好的朋友:未知的不公平永远不会受到挑战,更不用说纠正了[53]. 根据集体协议建立工人的数据权利不仅保护工人,而且防止工会的权力削弱[54].

工作权和获得公正和优惠报酬的权利:根据《世界人权宣言》,每个人都有权工作,享有公正和良好的工作条件,同工同酬,每个工作人员都有权获得公正和优惠的报酬,确保自己和家人过上有尊严的生活[4].

新兴的人工智能技术越来越多地允许连接以前不同的数据。ProPublica发表的一篇很棒的调查性新闻文章详细介绍了出售给房东的软件如何向房东提供有关其所在地区的入住率、租金金额以及通过平台相互交流的可能性的信息[55]. 以前,房东必须投入大量资源来单独收集此类数据,而现在,此类平台或技术工具不断允许用户访问最新信息。获取此类信息可用于减少竞争和管理空缺,从而推动租金上涨超过其市场价值。这里可以对工资和工人权利进行比较。像Argyle这样的工具通过申请人跟踪系统向雇主提供汇总的劳动力财务数据,并通过单个API向保险提供商、贷款人和信用卡发卡机构提供汇总的员工财务数据[56]. Argyle的愿景不仅是提供财务数据,而且是“对员工身份的整体看法,包括典型的工作时间、工作轨迹、声誉等[57].” 换言之,这是一种整合的方式,雇主可以在发出报价之前查看候选人的就业历史和其他薪酬细节。信息不对称意味着雇主可以提供低于公平的工资率,或者与其他雇主合作压制工资。阿盖尔声称拥有超过1.75亿工人的个人资料,覆盖了80%的美国劳动力[56]. 虽然供应商将自己定位为“第三方验证服务”,允许工人与贷款人、背景调查公司、人力资源或他们选择的任何其他方安全共享其收入、职称和就业证明信息[56]“供应商没有提到大规模数据收集、使用和工人未来的风险。由于行业中许多雇主使用的系统的建议,一些工人可能会被永久锁定在就业机会之外。

当算法系统相互连接以进行输入时,或者在就业前决策中更普遍地使用聚合系统时,就会出现单独的风险。来自一个系统的有偏见、错误或被操纵的结果成为另一个决策系统的直接输入。有了这样的互联系统,工人可能会被经济适用房、保险、医疗保健和类似系统拒之门外[58].

有效性和黑盒决策:开发评分算法的供应商往往会对其产品的容量做出很多承诺,而不会透露分数是如何计算的,也不会透露系统内做出了什么设计决策。如果客户要求了解系统背后的科学,纸牌屋可能会崩溃。相反,供应商更容易隐藏在知识产权(IP)保护背后,或建议应该信任“中立”技术。然而,缺乏审查会使雇主客户承担责任[40]. 客户应该也可以要求透明。不幸的是,由于供应商和雇主都以不同的方式从这些技术中受益,因此科学有效性问题,或者它们是否应该首先存在,并不是首要问题。

即使雇主意识到这项技术并没有兑现承诺,它也可能会继续实践,因为它至少为它提供了一种收集工人活动信息的方法。雇主可以选择通过另一级别的监督来解决问题。例如,当一个跟踪亚马逊仓库工人行动的人工智能系统出现故障时,视频片段会发送给印度和哥斯达黎加的其他工人。这些工作人员提供投入,以提高亚马逊机器学习工具的监控准确性。这些工作人员“不知道这些特定数据的去向……以及后端到底发生了什么。”这些远程工作人员也不知道他们自己正在被屏幕和鼠标活动监视[59].

正当程序权:“以数据为中心的技术隐藏、掩盖并验证了算法背后的雇主行为[60,61].” 计分可能会导致工资、轮班分配的自动惩罚,有时甚至会导致失业[15]. 如果不了解监督和生产力评分算法是如何用于确定其工资、福利或工作条件的,或者工会在合同条款中设置保障措施,“工人几乎没有途径对歧视和工资盗窃等有害的雇主决定提出质疑[62].” 在许多司法管辖区,工人还面临着受知识产权立法保护的算法的额外挑战。这意味着,即使他们有分析算法模型的手段,工人或工会也可能无法访问这些模型。由这些算法监控和评分的工人需要增强的权利,例如程序数据正当程序的权利[63]. 在美国,大多数低收入工作中使用的“随意”就业安排允许雇主和工人随时终止关系,而无需提供理由。然而,许多其他就业决策仍然可以受益于正当程序要求。

规范性判断:在创建评分模型时,开发人员会做出某些决定。决策可以包括收集数据的活动,或者换句话说,哪些行为或活动应计入生产率或风险。开发人员根据收集特定数据集的技术可能性以及应接受哪些数据作为生产性工作的代理做出这些决定。他们对“正常”或“典型”生产率应该是什么样子做出规范性决定,然后将工人收集的数据与这些规范进行比较。他们决定标签并将工人分类为这些标签。在将人类划分为标准类别的过程中,开发人员还对工人进行了非人性化和非人性化处理[64]. 在做出这些决策时,开发人员还将自己的价值观、经验、文化和偏见嵌入到他们开发的算法中[65]. 《纽约时报》(New York Times)最近发表的一篇关于工人生产力跟踪的文章明确指出,这一问题是“工作世界的新时钟错了:不善于捕捉线下活动,评估难以量化的任务不可靠,并且容易破坏工作本身[15].” “对因素进行优先排序的选择,或未能指定所有相关因素,可能会导致意想不到的后果[102].”

通过根据一定的标准衡量每个人,并要求类似的行为,这些算法系统创造了同质性。伯克希尔哈撒韦公司(Berkshire Hathaway)副董事长查理·芒格(Charlie Munger)是最成功的商业投资者之一,他表示:“模仿羊群会导致回归平均水平(仅仅是平均表现)[66].” 全球公司花费大量时间和资源来吸引具有不同背景、经验、身份和观点的候选人。当监督和评分系统用于确定工人是否符合某些规范和行为,并阻止差异时,雇主最终会破坏自己的努力。

背景和文化特殊性正如算法开发人员将自己的规范性判断嵌入到评分系统中一样,他们也声称自己的产品具有普遍性。然而,任何去过一个国家或国际不同地区的人都会证明,文化差异在工作关系中找到了契合点。不同的文化优先考虑不同的工作行为,员工之间的互动方式也各不相同。

即使在同质的工作环境中,评分系统仍然无法反映工作的复杂性,也没有考虑到可能会影响员工在一定时间内交付产出或完成任务的能力的外部因素或环境。在不了解员工互动的背景和创造产出的全部努力的情况下,这些系统优先考虑数量和量化[63]工作的质量和深度。数据并不独立于其上下文。一些受生产率算法约束的工人将这种情况描述为“令人愤怒”、“灵魂破碎”和“踢到牙齿”,因为雇主未能掌握构成其工作的全部任务[11]. 雇主的期望是让工人成为机器人般的主体。这种方法不会留下差异和多样性的空间,也不会欣赏离线工作,例如思考、阅读印刷材料、与同事进行头脑风暴、指导其他员工。

残疾歧视:当这些系统判断什么是典型的或预期的生产力时,它们还可能对残疾人造成其他伤害。ADA的一些评估[39]建议“如果雇主采用更快的工作节奏标准并严格执行,可能会违反《美国残疾人法案》对“标准、标准或管理方法……具有基于残疾的歧视效应”的禁止[67].” 一半以上的残疾是无形的,并且具有高度的多样性,这使得他们“几乎不可能进行大规模分析”[68]. 此外,只有21%的残疾员工向雇主的人力资源部门披露了这些信息[69]. 通过可穿戴设备或员工的社交媒体帐户访问收集的生物特征或健康数据可以为管理者或雇主提供更多信息,以推断员工的能力或健康状况,从而导致可能的偏见决策或虚假推断。即使这些信息在不利的就业决定中没有发挥作用,雇主也可能被指控因残疾或被视为残疾而受到歧视[40].

人工智能系统的技术缺陷,如设备的不准确,也可能造成意想不到的伤害。例如,可穿戴设备首先收集健康和健康信息可能并不准确[70,71]但仍可用于与工作相关的测定。由于系统的科学有效性和可能的技术偏见没有受到质疑,工人可能会受到歧视性结果的影响。或者想象一个场景,开发人员或雇主没有意识到系统中的偏见。例如,辅助设备(例如屏幕阅读器)可能会干扰所收集数据的准确性。或者,如果评分系统对神经发散的人、阅读速度较慢的人或多任务处理的人不利,那么结果可能是歧视性的。

信任的侵蚀:工人监督的历史为雇主如何选择更容易的方式监督工人提供了充分的证据,而不是投资于与工人建立信任和共同愿景[72]. 在许多情况下,雇主会选择自上而下、层次分明的方法来控制和塑造员工。另一种选择是共同创造并确定共同的价值观和愿景。工人们相信自己可以增加价值,并让自己和雇主对商定的结果负责。雇主缺乏信任导致员工的信任和忠诚受到侵蚀。新冠肺炎疫情导致的工作-家庭安排为许多雇主创造了恐慌环境。《哈佛商业评论》(Harvard Business Review)的一篇文章强调了“管理者不信任导致微观管理的负面螺旋,进而导致员工积极性下降,进一步降低生产力”,而随着新冠肺炎疫情的蔓延,这种螺旋形度进一步加深[73]. 微软最近的一份报告强调,85%的领导表示,向混合型工作的转变使人们难以对员工的生产能力充满信心[74]. 无论是跟踪远程工作人员,还是在大型实体环境(如仓库、商店)中操作的工作人员,或移动工作人员(如司机、送货员),还是安静退出的工作人员。使用监视和生产力工具都会以不可修复的方式破坏信任关系[75]可能会适得其反,导致生产力下降[76,77].

对健康和安全的影响:工作节奏和生产力预期的提高,没有休息、思考或纠正措施的余地,导致更多的工作场所事故[78,79]. “电子血汗工厂”需要重复的、快节奏的工作,需要持续的警觉和对细节的关注[80]. 更多的重复也会导致更严重的身体伤害。研究文献表明,与工作场所绩效评分技术相关的压力增加[81,82,83]. 失去对工作、压力和无处不在的观察的自主权会增加工人遭受心理伤害和心理健康问题的风险[67].

有时,雇主会将生产力评分系统定义为“游戏”。换言之,在将工作转化为竞争指标的伪装下,雇主让员工相互竞争。雇主让所有人都能看到生产率指标,这可能会给员工带来进一步的压力。即使将这种竞争作为健康计划的一部分,也要对工人进行健康和健康的标准判断。例如,期望员工达到某些健身标准,然后让每个人都能看到那些不符合“期望”的指标(即减肥跟踪器),这可以被视为一种健身形式。为了满足要求的指标、压力和身体健康的代价而展开的竞赛最终导致员工倦怠[84]. 在工作场所,一名工人很容易被另一名工人取代,而不考虑数据背后的人,并且在没有任何法律后果的情况下,雇主没有任何改善条件的动机。

反馈回路和行为改变:算法决策系统改变了用户的行为以及受这些系统结果影响的用户的行为。它们以多种方式改变和塑造实施组织的文化和优先事项。通过激励员工专注于某项特定任务,而不是创新和试验,”该组织仅通过选择监控的任务向员工发出信息[85].” 生产力系统可能会导致工人花费更多的时间从事某项特定活动,而不是取得成果,从而导致意想不到的后果。公制本身就是目的。监督工人遵守可测量的预期行为[64]. 当工人的自主性和能动性降低时,其结果也是创造性和“思维能力或有时行动能力的降低”[35].”

当工人受到监督,担心自己的分数会影响薪酬或工作的未来时,他们也会自然而然地转向更自我保护的行为。与其与同事合作或分享关于更高效完成任务的方法的知识,员工个人可能会变得更加隐私、不信任和竞争[86]. 他们可能还觉得有必要玩弄这个系统。无论这种需求是作为对雇主压迫行为的反应出现的,还是出于提高分数以及可能的工资和福利的需要,玩这个系统意味着寻找方法让它看起来像是在生产,但实际上拒绝做预期的事情。作为对管理层缺乏信任的回应,工人可以寻求规避侵入性管理监督[87].

对持续监视和数据化的过度警惕也会使员工士气低落,并使他们放弃其他可能对长期福祉有意义或必要的任务。只对某些类型的活动进行评分可以迫使员工更快地做出决策,而无需花时间深入研究问题、案例或条件。一些研究人员甚至建议,例如,工作场所的游戏化系统可能会使道德推理复杂化并颠覆其[88,89]. 对于需要更频繁决策的工作,如卫生、人力或社会服务,此类行为改变可能会给依赖决策的人带来灾难性后果。

Shoshana Zuboff强调,在工作场所,“侵入性技术在被俘虏的员工群体中正常化[90].” 当一个人接受工作监督和评分技术是不可避免的,其结果可能是类似技术在生活的其他部分正常化。个人将得分社会内化[91]侵入性和可疑技术得到规范化。帕斯奎尔(Pasquale)和西特龙(Citron)警告我们,“大数据经济中得分的威胁在于可以输入分数的信息量、速度和种类,而这些分数可能会成为决定性的分数[53]“在各种不同的背景下。已经有一系列产品用于对个人进行评分,从信用评估、保险评估、就业评估、教育评估、移民评估,甚至刑事司法评估。工人在工作场所被迫接受的做法将不限于就业决定。

4路线图

为了更好地保护工人免受日益增长的数字监控和生产力评分系统的影响,可以部署一些政策。回到美国现有的政策和监管承诺,我们可以找到前进的道路。

4.1将1974年隐私法保护延伸至劳动法规

FIP受到《公平劳动实践准则》和《公平劳动标准法案》(FLSA,为私营和公共部门的工人制定最低工资、加班工资、记录保存和童工标准)的启发[8]. FIP“规定了收集和使用个人数据的权利和责任……强调实际做法或标准以及法律权利[92].” 国会通过1974年《隐私法》时,纳入了八项原则,以管理联邦机构数据库中保存的个人信息。回到最初的灵感,劳动法规应该更新。1974年《隐私法》的保护范围应扩大到现有的劳动法。雇主的责任和工人的权利必须明确。

  • 收集限制/数据最小化:雇主只能创建、收集、使用、处理、存储、维护、传播或披露与实现合法授权目的直接相关和必要的数据。

  • 数据质量:收集的数据必须与雇主寻求使用的目的相关。雇主必须确保数据的准确性、相关性、及时性和完整性。

  • 用途说明:雇主在收集任何数据之前,必须对数据的预期用途保持透明。

  • 使用限制:当雇主出于公开目的收集数据时,他们不能将收集的数据部署在最初预期的收集目的之外。

  • 安全保障:雇主必须确保他们收集的数据得到安全存储。

  • 个人参与:工人必须有权接收收集到的关于他们的数据,或确认是否收集到这些数据,尽快沟通与他们有关的数据,如果他们愿意,还必须删除、更正、完成或修改他们的数据。

  • 开放性:雇主必须坦率地说明他们制定数据收集相关政策的方式。

  • 问责制:雇主必须有一个会计机制,确保遵守上述原则。

值得注意的是,欧洲联盟的一般数据保护条例(GDPR)第5条列出了除个人参与以外的所有FIP(在其他GDPR条款中以单独的形式涵盖)[93].

当S.5161991年消费者和工人隐私法马克·罗滕伯格和加里·马克思分别向立法者提供了证词[94]. 尽管该提案当时没有通过,但值得注意的是,他们为加强未来任何劳动立法而单独增加了内容。

马克思解释了工人监督实践中突出的技术问题,并提出:

  • 有效性原则:需要有合理的理由相信所收集信息的准确性和价值;

  • 补救原则:那些受到隐私侵犯的人有足够的机制发现侵犯行为并获得赔偿;

  • 安全网或公平原则:所有人都有最低限度的隐私权。

Rotenberg强烈支持拟议的立法,要求取消后门排除,并增加了额外的保障措施,包括:

  • 工人参与:工人必须参与塑造影响他们的技术。希望收集数据的雇主应寻求更大的共同决定方式,并确保工人与雇主一起参与制定数据使用条款。除了工人的个人参与外,这可能是一组工人有意义地参与和共同决定与如何评估他们有关的所有事项的集体权利。这种共同决定将包括评估可能的算法系统的影响,该系统是否是一个有益的解决方案,如果是,则对相关数据、算法设计和此类系统的治理作出决定。

  • 业务责任:收集到的员工个人信息得到了保护。

  • 人因审查原则:在做出重要的就业决策时,技术应该有助于但不能取代人类的判断。

4.2AI权利法案蓝图的实施

最近发布的《蓝图》也强调了这样一个事实,即员工监控系统的设计应更多地考虑员工的权利。该文件概述了人工智能系统未来开发和使用的愿景,其中尊重权利、民主价值观和基本原则。现在需要实现这一愿景。蓝图特别建议

  • “监视技术应受到更严格的监督,包括至少预先评估其潜在危害和范围限制,以保护隐私和公民自由”,以及

  • “不应在……工作中使用持续监视和监测,因为使用此类监视技术可能会限制权利、机会或访问。”

《蓝图》重申了基本权利、现行公民权利和反歧视立法。其基本愿景应被用作支持现有就业法律、劳动关系法规和工作场所安全法律的工具。劳工部和相关联邦机构(如平等就业机会委员会、国家劳动关系委员会和职业安全与健康管理局)应将蓝图的实施纳入其战略计划。虽然现有的法律框架和判例法可以补救损害,但平等就业机会委员会也可以使用其工具包中的其他工具,如专员指控或直接调查,以确定可能存在的系统性歧视[40,95,96]. 如前所述,工作场所监视比以前更为常见,因此,这些机构认为这一问题应属于其职权范围,这一点十分重要和必要。

4.3联邦贸易委员会加大执法力度

2021年,联邦贸易委员会(Federal Trade Commission)就不公平或欺诈行为向公司发出警告,包括销售或使用有偏见的算法。该警告简明扼要地强调了公司应“真实、公平和公平地使用人工智能”,否则联邦贸易委员会将使用《联邦贸易委员会法》、《公平信用报告法》和《平等信用机会法》赋予的强制执行权。该机构建议公司应(1)根据任何缺点限制在何处或如何使用人工智能模型,(2)确保人工智能不基于种族、性别或其他受保护阶级进行歧视,(3)接受透明和独立评估,(4)不要夸大产品可以做什么,也不要夸大它是否能够提供公平或公正的结果,(5)诚实地说明算法中使用的数据来源以及结果将如何使用。

商用的工人监测和生产力评分产品将供应商和雇主置于联邦贸易委员会可能的调查范围内。联邦贸易委员会的警告允许公司改进其做法,并首先要求自己承担责任——“或准备好让联邦贸易委员会为他们这样做”[97].

4.4在工会中建立更好的能力

工人监督和生产力评分工具可以首先用来压制工会化,然后削弱工会保护。为了有效保护工人的权利,工会需要建立更好的内部能力。

  • 为了回应工人权利学者科尔克劳夫博士的观点,“工会需要具备不同类型数字技术的知识基础,重要的是需要掌握人工智能、算法系统的指令[98]“和”工会需要紧急修改其战略,寻找跨境合作的方式……并确保所有工人在所有形式的工作中都享有相同的社会和基本权利[99].” 对于雇主和工人都能从中受益的系统,算法的设计和管理应包括工人及其代表[100].

  • 工会还应利用其知识作为工具,支持NLRB和FTC的执法活动。工会可以向NLRB提供雇主使用监控技术的信息,因此有义务提交监控报告[52]. 工会还可以告知联邦贸易委员会,哪些公司没有“真实、公平和公平地使用人工智能”。

  • 工会还可以要求EEOC和联邦合同合规计划办公室(美国劳工部的一部分)发布针对工人监督和生产率评分算法问题的意见书。此类意见书可用于澄清法律实践和应用[40].

违反基本人权和人类尊严的算法系统不应根据原则合法化[101]或通过使用风险管理系统。首先不应该使用它们。另一方面,能够支持工人的工作条件、工作成果、安全和福利,同时使雇主受益的系统,其设计、使用和管理应遵守上述保障措施。