简介

通过法比奥·丘西

在伦敦八月的一个多云的日子里，学生们很生气。他们成群的数百人前往议会广场抗议，他们的标语牌上印有对不同寻常盟友的支持：他们的老师，还有一个更不同寻常的目标：算法。

由于新冠肺炎疫情，英国的学校于3月关闭。随着病毒在2020年夏天仍在欧洲肆虐，学生们知道他们的期末考试将不得不取消，他们的评估也发生了变化。然而，他们无法想象的是，数千人最终会降低结果比预期成绩好。抗议的学生知道该归咎于什么，从他们的手势和口号可以明显看出：由资格和考试管理局（Ofqual）部署的自动决策系统。它计划对普通中等教育证书和A级成绩进行最佳的基于数据的评估，“成绩的分布与其他年份类似，因此今年的学生不会因今年的情况而面临系统性劣势”。

政府希望避免过度乐观根据人类自身的判断，这只会导致人类的判断估计：与历史系列相比，分数可能太高了。但是，这种试图“尽可能公平对待今年夏天无法参加考试的学生”的尝试却以惊人的失败告终，在八月那灰色的抗议日，学生们继续前来，唱着圣歌，举着标语，表达对社会正义的迫切需要。有些人绝望了，有些人崩溃了，哭了起来。

一个标语牌上写着“停止偷窃我们的未来”，呼应了周五气候活动家的未来抗议。然而，其他人则更具体地针对ADM评分系统的缺陷进行了调整：“给我的工作评分，而不是给我的邮政编码评分”，他们读到，我们是“学生，不是统计数据”，谴责该系统的歧视性结果。

最后，人群中爆发出一段歌声，这段歌声直指抗议的未来：“去他妈的算法”。学生们害怕政府会随意地、不透明地自动化他们的未来，无论他们的技能和努力多么不一致，他们呼吁有权不让自己的生活机会受到坏代码的过度影响。他们想发表意见，他们所说的应该被听取。

尽管我们倾向于认为算法既不是“中立的”也不是“客观的”。它们复制了那些决定部署它们并对其进行编程的人的假设和信念。因此，人类应该对好的和坏的算法选择负责，而不是“算法”或ADM系统。机器可能很可怕，但里面的鬼魂永远是人。人类是复杂的，甚至比算法还要复杂。

无论如何，抗议的学生并没有天真到认为他们的痛苦完全是算法的错。事实上，他们并没有在技术决定论的爆发中高呼反对“算法”；他们的动机是保护和促进社会正义。在这方面，他们的抗议与卢德分子的抗议更为相似。正如19世纪摧毁机械化织机和编织机的劳工运动一样，他们知道ADM系统是关于权力的，不应该被误认为是一种所谓的客观技术。因此，他们高呼“为工人阶级伸张正义”，要求卫生部长辞职，将ADM系统描绘成“最完美的古典主义”，“公然的古典主义。”。

最终，学生们成功地废除了将他们的教育事业和生活机会置于危险境地的制度：在一次引人注目的U型转变中，英国政府报废的易出错的ADM系统，并利用教师预测的成绩。

但这个故事不仅仅是抗议者最终获胜的事实。这个例子突显出，那些再现人类偏见和歧视的系统设计、实施和监督不善，未能利用ADM系统的潜力，例如利用可比性和公平性。

与过去的许多斗争相比，这次抗议更清楚地表明，我们不再只是自动化社会。我们已经实现了自动化，最后，有人注意到了。

在发布本报告的第一版时，我们决定将其称为“自动化社会”，因为欧洲的ADM系统大多是新的、实验性的和未映射的，而且最重要的是，这是一个例外，而不是标准。

这种情况已经迅速改变。正如通过我们杰出的研究人员网络在本报告中收集的许多案例所清楚显示的那样，ADM系统的部署在一年多的时间里大幅增加。ADM系统现在影响了几乎所有类型的人类活动，最显著的是，向数百万欧洲公民提供服务，以及他们获得权利的途径。

ADM系统不断增加的使用带来了顽固的不透明性，这使得我们更加迫切需要继续加大努力。因此，我们在本报告前一版中分析的12个国家中增加了4个国家（爱沙尼亚、希腊、葡萄牙和瑞士），使总数达到16个国家。虽然远未穷尽，但这使我们能够提供欧洲ADM场景的更广泛画面。考虑到这些系统可能对日常生活产生的影响，以及它们对我们关于民主治理和自动化之间关系的直觉（如果不是我们的规范和规则）的挑战，我们认为这是一项重要的努力。

在新冠肺炎大流行期间尤其如此，在这段时间里，我们目睹了（大多是仓促的）过多的ADM系统的采用，这些系统旨在通过基于数据的工具和自动化来确保公共健康。我们认为这一发展非常重要，因此我们决定专门为其编写一份“预览报告”，出版2020年8月，在“自动化社会”项目范围内。

即使在欧洲，当涉及到ADM系统的部署时，天空也是有限的。想想本报告中介绍的一些案例，再加上我们在上一版本中已经报道过的许多案例，从福利到教育，从卫生系统到司法系统。在接下来的几页中，我们首次以三种方式提供了这些案例的发展更新。首先，通过新闻故事，然后，通过以研究为基础的章节编目不同的例子，最后，通过漫画小说。我们认为，这些ADM系统在每个人的生活中都是如此重要，并且将越来越重要，因此我们需要尝试并交流它们的工作方式，以及它们实际对我们做了什么，以严格的方式和新的方式，接触到各种各样的受众。毕竟，ADM系统对我们所有人都有影响。

或者至少他们应该这么做。例如，我们已经看到了一项新的、自动化的、主动式的服务如何在爱沙尼亚分配家庭福利。父母甚至不再需要申请福利：从出生开始，国家收集每个新生儿及其父母的所有信息，并在数据库中进行核对。因此，如果父母有权领取福利，他们会自动领取福利。

在芬兰，通过日本富士通（Fujitsu）开发的工具，可以自动识别与年轻人社会排斥相关的个人风险因素。在法国，可以从社交网络中收集数据，为机器学习算法提供信息，这些算法用于检测税务欺诈。

意大利正在试验“预测法学”。这使用了自动化来帮助法官了解之前法院对当前主题的裁决的趋势。而且，在丹麦，政府试图在考试期间监控学生电脑上的每一次键盘和鼠标点击，再次引发了大规模的学生抗议，导致该系统暂时退出。

原则上，ADM系统有可能通过处理大量数据、支持人们的决策过程以及提供定制的应用程序来造福人们的生活。然而，在实践中，我们发现很少有案例令人信服地证明了这种积极影响。

例如，自2007年以来在西班牙部署的VioGén系统用于评估家庭暴力案件的风险，尽管远未完善，但它显示出“合理的绩效指数”，并帮助保护了许多妇女免受暴力侵害。

据报道，葡萄牙部署了一个集中化、自动化系统来阻止与处方相关的欺诈行为，该系统在一年内将欺诈行为减少了80%。据税务部门称，斯洛文尼亚用于打击税务欺诈的类似系统已被证明对检查员有用。当考察欧洲ADM系统的当前状态时，具有明显好处的正面示例很少。在整个报告中，我们描述了绝大多数使用是如何将人们置于危险之中而不是帮助他们的。但是，为了真正判断实际的积极和消极影响，我们需要对目标有更大的透明度，需要更多关于测试和部署的ADM系统工作的数据。

给决策者的信息再清楚不过了。如果我们真的想在尊重人权和民主的同时最大限度地发挥其潜力，那么现在就应该加快步伐，使这些制度透明化，纠正ADM的错误。

不同的国家正在采用不同的工具。然而，有一项技术现在对大多数人来说很常见：人脸识别。这可以说是本报告中强调的最新、最快、最令人关注的发展。2019年版几乎没有人脸识别功能，目前正在欧洲各地以惊人的速度进行试用和部署。在我们上一份报告发表后的一年多时间里，人脸识别技术在学校、体育场馆、机场甚至赌场中都得到了应用。它还用于预测性警务、逮捕罪犯、反对种族主义，以及针对新冠肺炎疫情，通过应用程序和“智能”视频监控来加强社交距离。

2019年版几乎没有人脸识别功能，目前正在欧洲各地以惊人的速度进行试用和部署。

新的ADM部署仍在继续，即使面对越来越多的证据表明其缺乏准确性。当挑战出现时，这些系统的支持者只是试图找到绕过它们的方法。在比利时，警察使用的面部识别系统仍然“部分有效”，尽管警察信息监督机构已经发布了临时禁令。在斯洛文尼亚，警方首次使用人脸识别技术五年后，该技术被合法化。

如果不加以挑战，这一趋势有可能使不断受到监视的观念正常化，从而使普遍大规模监视的新现状具体化。这就是为什么许多公民自由团体会欢迎欧盟机构对此作出更积极的政策回应。

甚至微笑的行为现在也是波兰银行试行的ADM系统的一部分：员工笑得越多，奖励就越好。被监控的不仅仅是面部表情。在意大利，建议在所有足球场使用健全的监控系统作为反种族主义的工具。

本报告中的一个惊人发现是，虽然ADM系统的部署发生了迅速变化，但这些系统的透明度却并非如此。2015年，布鲁克林法学院教授Frank Pasquale将基于不透明算法系统的网络化社会称为“黑匣子社会”。五年后，不幸的是，这个比喻仍然适用于我们为本报告研究的所有国家：无论是公共部门还是私营部门，ADM系统都没有足够的透明度。波兰甚至要求不透明，该国法律引入了自动系统来检测用于非法活动的银行账户（“STIR”）。该法律规定，披露采用的算法和风险指标可能导致最高5年的监禁。

虽然我们坚决反对所有这些系统本身都是坏的这一观点，但我们采用的是基于证据的观点，无法根据准确和事实的知识评估其功能和影响无疑是坏的。如果只是因为不透明性严重阻碍了证据的收集，而这些证据是对ADM系统的部署做出知情判断所必需的。

再加上我们的研究人员和记者在获取有关这些系统的任何有意义的数据方面遇到的困难，这给任何希望对其进行检查并确保其部署符合基本权利、法治和民主的人带来了麻烦。

欧盟对此做了什么？尽管欧盟委员会在乌苏拉·冯·德莱恩（Ursula Von der Leyen）的指导下编制的战略文件直接提及“人工智能”而非ADM系统，但它们确实表达了值得称赞的意图：
促进并实现“以人为本”的“值得信赖的人工智能”。

然而，正如欧盟章节所述，欧盟的总体方法优先考虑领导“人工智能革命”的商业和地缘政治必要性，而不是确保其产品符合民主保障，一旦被用作政策工具。
这种缺乏政治勇气的现象令人惊讶，最明显的表现是决定在其AI监管方案中摒弃任何暂停在公共场所使用人脸识别技术的建议。尤其是在许多会员国目睹越来越多的法律挑战和失败的时候，过于仓促部署的ADM系统对公民权利产生了负面影响。

一个里程碑式的案件来自荷兰，那里的民权活动家将一个入侵的、不透明的自动系统告上了法庭，该系统本应用于检测福利欺诈（SyRI），但最终胜诉。2月份，海牙法院不仅发现该系统违反了《欧洲人权公约》，因此也停止了该系统。该案还开创了一个先例：根据该裁决，政府在实施此类ADM系统时有“特殊责任”保障人权。提供亟需的透明度被认为是其中的关键部分。

自我们的第一份报告以来，媒体和民间社会活动家已将自己确立为ADM系统问责制的推动力。例如，在瑞典，记者设法强制发布Trelleborg系统背后的代码，用于与社会福利应用程序相关的全自动决策。在柏林，苏德克雷兹火车站人脸识别试点项目未能在德国任何地方实施该系统。这要归功于活动人士的强烈反对，他们的声音如此之大，以至于他们成功地影响了政党的立场，并最终影响了政府的政治议程。
数字人组织（Homo Digitalis）的希腊活动家表示，没有真正的旅行者参与希腊名为“iBorderCtrl”系统的试点试验，这是一个由欧盟资助的项目，旨在使用ADM巡逻边境，从而揭示出许多此类系统的能力经常被超卖。与此同时，在丹麦，由于学者、记者和数据保护局（DPA）的工作，一个用于早期检测弱势家庭和儿童相关风险的分析系统（所谓的“Gladshare模型”）被搁置。

新闻部本身在其他国家也发挥了重要作用。在法国，国家隐私权机构裁定，在高中实施声音监控项目和人脸识别项目都是非法的。在葡萄牙，政治部拒绝批准警方在莱里亚市和波提摩市部署视频监控系统，因为这被认为是不成比例的，而且相当于“大规模系统监测和跟踪人们及其习惯和行为，并从与身体特征相关的数据中识别人”。在荷兰，荷兰DPA要求政府机构使用的预测算法更加透明。

最后，一些国家请监察员提供咨询意见。在丹麦，该建议有助于制定公共部门使用ADM系统的战略和道德准则。在芬兰，议会副监察员认为自动纳税评估是非法的。

然而，鉴于此类系统在整个欧洲的持续部署，人们不禁要问：这种监管水平是否足够？当波兰监察员对一家银行使用的微笑检测系统（如上所述）的合法性提出质疑时，该决定并没有阻止随后在索波特市进行试点，也没有阻止几家公司对采用该系统表现出兴趣。

本报告中的一个惊人发现是，虽然ADM系统的部署发生了迅速变化，但这些系统的透明度却并非如此。

积极主义主要是一种被动的努力。大多数情况下，激进分子只能在ADM系统正在试用或已经部署的情况下作出反应。到公民能够组织回应的时候，他们的权利可能已经受到不必要的侵犯。即使在大多数情况下，欧盟和成员国法律应该给予保护，这种情况也可能发生。这就是为什么在试点和部署之前采取积极措施来保障权利如此重要的原因。

然而，即使在有保护性立法的国家，执法也没有发生。例如，在西班牙，“自动化行政行动”是法律编纂的，规定了质量控制和监督方面的具体要求，以及对信息系统及其源代码的审计。西班牙还制定了信息自由法。然而，即使有了这些法律，我们的研究人员写道，公共机构也很少分享他们使用的ADM系统的详细信息。同样，在法国，2016年有一项法律要求算法透明，但同样无效。

根据算法透明度法的具体规定，即使将算法提交法院，也可能不足以强制执行和保护用户的权利。正如法国大学申请者分类的Parcoursup算法所显示的那样，可以随意划分例外情况，以保护政府不承担责任。

这尤其令人不安，再加上许多研究人员哀叹的公共部门ADM系统普遍缺乏技能和能力。政府官员如何解释或提供他们不了解的系统的任何类型的透明度？

最近，一些国家试图解决这个问题。例如，爱沙尼亚设立了一个适合行政管理系统的能力中心，以便更好地研究如何利用这些系统发展公共服务，更具体地说，为经济事务和通信部以及国家总理办公厅的电子政务发展提供信息。瑞士还呼吁在“数字瑞士”国家战略的更广泛框架内建立“能力网络”。
然而，数字素养的缺乏是一个众所周知的问题，影响了几个欧洲国家的大部分人口。此外，很难要求强制执行你不知道自己拥有的权利。英国和其他地方的抗议，以及基于ADM系统的高调丑闻，无疑提高了人们对社会自动化风险和机遇的认识。但是，尽管这种意识在上升，但在许多国家仍处于早期阶段。

我们的研究结果很清楚：虽然ADM系统已经影响了各种活动和判断，但它们仍然主要部署在没有任何有意义的民主辩论中。此外，执法和监督机制——如果有的话——滞后于部署，这是常态，而不是例外。

即使这些系统的目的通常也没有向受影响的人群解释，更不用说他们应该获得什么好处了。想想芬兰的“AuroraAI”主动式服务：正如我们的芬兰研究人员所报告的那样，它应该自动识别“生活事件”，在支持者的心目中，它应该充当“保姆”，帮助公民满足特定生活环境下可能出现的特定公共服务需求，例如：。，我们的研究人员写道，搬到一个新的地方，改变家庭关系等。“微移”可能在这里起作用，这意味着系统可能最终会做相反的事情，建议做出某些决定，或通过自己的设计和架构限制个人的选择。

因此，更重要的是要知道在公共服务方面“优化”的是什么：研究人员问道：“服务使用是最大化的，成本是最小化的，还是公民福利得到了改善？”。“这些决定基于什么标准，由谁来选择？”仅仅因为我们无法回答这些基本问题，就足以说明允许的参与程度和透明度，即使对于这样一个潜在的入侵性ADM系统也是如此。

所有这些都有一个总体的意识形态理由。这被称为“技术解决方案”，它仍然严重影响我们研究的许多ADM系统的开发方式。即使术语已经长期受到谴责作为一种有缺陷的意识形态，它将每一个社会问题都视为一个需要通过技术“修复”的“漏洞”，这种说法仍被媒体和政策界广泛采用，以证明在公共生活中不加批判地采用自动化技术是合理的。

当被吹捧为“解决方案”时，ADM系统立即转向亚瑟·C·克拉克（Arthur C.Clarke）《第三定律：魔法》（Third Law：magic）中描述的领域。而且，即使不是不可能，也很难规范魔法，更重要的是，要围绕魔法提供透明度和解释。人们可以看到手伸进帽子里，结果出现了一只兔子，但这个过程是而且应该是一个“黑匣子”。

参与“自动化社会”项目的许多研究人员谴责这是他们描述的许多ADM系统背后的推理的根本缺陷。这也意味着，如关于德国的一章所示，对此类系统的大多数批评都是以全面拒绝“创新”为框架的，将数字权利倡导者描绘成“新学者”。这不仅忽视了卢德运动的历史现实，卢德运动涉及的是劳工政策，而不是技术本身，而且更根本的是，它威胁到了假想的监督和执行机制的有效性。

当“人工智能”行业见证了一个“活跃”的游说部门的出现，尤其是在英国，这可能会导致“道德清洗”指导方针和其他政策回应，而这些指导方针和政策回应在解决ADM系统的人权影响方面是无效的，并且在结构上是不充分的。这种观点最终等于一种假设，即我们人类应该适应ADM系统，而不是ADM系统应该适应民主社会。

为了反驳这种说法，我们不应该回避一些基本问题：行政管理系统是否能够与民主兼容，是否能够为整个社会的利益而部署，而不仅仅是为部分社会的利益。例如，某些人类活动可能就是这种情况，例如。，那些涉及社会福利的技术——不应该被自动化，或者某些技术——即公共场所的实时人脸识别——不应该在无休止地追求“人工智能领导力”的过程中被推广，而是被完全禁止。

更重要的是，我们应该拒绝任何阻止我们提出此类问题的意识形态框架。相反：我们现在需要看到的是实际政策的变化——以便对这些系统进行更严格的审查。在下一节中，我们列出了我们发现的关键需求。我们希望，它们将得到广泛讨论，并最终得到执行。
只有通过知情、包容和基于证据的民主辩论，我们才能在ADM系统在速度、效率、公平性、更好的预防和获得公共服务方面所能提供的利益与它们对我们所有人的权利所构成的挑战之间找到适当的平衡。