德国联邦政府在其联盟协议中宣布致力于使政府结构和进程现代化。为了实现这一目标，它计划在公共机构中部署用于自动决策（ADM）的AI系统。这些程序旨在自动处理税务报告和社会福利申请，识别欺诈企图，为失业客户创建就业档案，支持警务，并使用聊天机器人回答公民的查询。人工智能充其量可以缓解当局的压力，改善他们的服务。
到目前为止，一切都很好。一些欧洲国家的数字化进程已经远远超过德国。然而，通过观察这些国家，我们可以观察到该领域自动化可能带来的问题。
系统错误
Soizic Pénicaud公司为与法国福利管理受益人密切接触的人员组织培训。有一次，这样的案件处理人员告诉她，人们在请求处理系统上遇到了问题。她唯一会给他们的建议是“你无能为力，这是算法的错。”佩尼科德，一位数字权利研究人员，对此大吃一惊。她不仅知道算法系统可以被追究责任，而且知道如何做到这一点。
她与几个民间社会组织一起向福利机构提出了信息自由请求。2023年11月，她终于获得了算法的细节。统计分析表明，该系统存在许多缺陷。特别是，它认为残疾人、单身母亲和一般穷人都有潜在的欺诈风险，在许多情况下导致福利的自动中止和“机器人债务”的产生，这是由自动劣势造成的债务。该算法影响了1300万户家庭。
欧洲的自动不公正
人们经常发现，不公正和设计不良的系统针对欧洲国家的某些人群。
在丹麦，只有在前一年工作时间少于225小时的情况下，社会福利受益人才完全符合资格。一家私人咨询机构开发了一种自动执行这项要求的工具。当许多受益人发现他们的福利由于软件错误而被削减时，市政当局不得不手动检查每一个案例。每次病例检查需要30分钟到3小时。
在意大利，部署了一种算法，以有效地将短期合同教师分配给有员工需求的学校。代码和设计错误导致教师的生活受到严重影响。例如，老师们被要求通勤数百个小时，尽管离他们的居住地更近的地方有空位。
在奥地利公共就业服务（AMS）推出了一款基于ChatGPT的聊天机器人，价值30万欧元，用于帮助求职者解决就业机会和职业选择方面的问题。事实证明，机器人传播了一种相当保守的性别角色观念：它建议女性从事性别研究，而男性则选择It。
在荷兰负责发放失业救济金的机构使用了一种算法来跟踪其网站的访问者。该算法收集了他们所有的IP地址，并将其用于地理定位。因此，它被裁定为非法，不得再使用。
荷兰人权研究所统治阿姆斯特丹Vrije大学歧视学生。这所大学正在使用面部识别软件来防止学生考试作弊。该系统不成比例地经常报告肤色较深的人。
在德国，也有许多案例表明，随着人工智能系统的引入，当局已经超出了合法性的限制。2023年2月，联邦宪法法院统治黑塞和汉堡使用的Palantir软件不应该被使用。这一判决并没有阻止巴伐利亚州警方在判决后几周内测试一种可能与被禁止的Palantir系统差别不大的系统。2023年11月显示巴伐利亚警方在Palantir系统测试阶段自动分析和利用自己数据库中的个人数据。
行动中的人：无防备的测试对象
德国联邦移民和难民局（BAMF）提供了一个过早使用问题自动化系统的突出例子。BAMF使用软件识别方言，以确定寻求庇护者的身份和来源。科学家认为这个方法伪科学然而，令人担忧的是，该软件的评估将对是否给予庇护产生影响。
尤其是流动中的人——移民、难民和旅行者——越来越多地受到尚未经过充分测试的人工智能和自动化决策系统的影响。此外，此类系统的实施需要民主讨论哪些尚未进行。越来越多的人调查这些系统是如何不透明的，以及它们的使用是如何被合法化和监督的。
在移民等领域，人权经常遭到侵犯，因为使用人工智能的人和受其影响的人之间存在巨大的权力不平衡。例如，当人工智能用于边境保护时，歧视模式会重现。已经受到歧视的人是受害者。他们通常缺乏自卫手段，也有其他实际障碍需要克服。如果欧盟真的要将其价值观和原则付诸实践，它就必须保护所有人的基本权利，包括非欧盟公民的权利。
风险控制：公共行政的弱点
欧洲的案例研究表明，引入自动化系统会带来重大风险，尤其是如果使用时不够谨慎。他们可能会剥夺人民的基本权利，或剥夺他们获得公共产品和服务的机会。公共部门适用的特殊条件：我们在不同的提供者之间没有选择，但不可避免地要服从负责我们的行政部门的决定。此外，公共当局访问敏感个人数据，他们的决定可能会对有关人员产生严重后果，例如，福利福利的削减威胁到人们的生计。
在实现行政流程自动化的同时，必须确保它们提供了普遍的好处，不会造成伤害，并且是公平的。它们也不得限制受影响者的行动自由。因此，算法系统只有在满足严格要求并得到有效监测的情况下，才能用于公共部门。然而，这是困难的，因为算法系统通常是非常不透明的：对于当局及其工作人员、受影响的人以及整个社会。所有这些都阻止了对系统进行严格检查。评估算法系统的影响必须从透明度措施开始——如果只是为了让受影响的人能够保护自己免受自动决策的影响。我们通常甚至不知道当局是否将决策权交给了算法。
如果自动化导致管理错误，我们该怎么办？
受到算法系统使用影响或受到影响的人必须能够获得有关他们的所有相关信息，以便他们能够反对。这需要他们可以轻易获得、廉价和有效的法律补救措施。如果他们的权利受到侵犯，他们必须得到赔偿。
自动化决策系统的风险来自其所基于的技术模型，也取决于其使用方式、用途以及使用环境。如果当局将使用一些特别危险的人工智能系统，则需要根据《人工智能法》进行基本权利影响评估。在某些情况下，他们必须公开这些评估。这一措施的有效性取决于它的实施方式。
可以引入可公开访问的在线注册，作为结果的发布平台。安AI寄存器将为公司和公共机构提供已在使用的系统的概述。人们将能够更好地理解影响他们的自动决策，并行使保护自己的权利。最后但并非最不重要的是，民间社会和科学家将了解正在使用的自动化系统。有了这些知识，我们可以开始讨论我们渴望在社会中实现哪些创新和使用哪些系统。透明度登记册也将有助于行政部门从其他项目的错误和成功中吸取教训。
阅读更多关于我们的政策和宣传工作在公共部门ADM.
