Die algorithmische Verwaltung:自动化Entscheidungssysteme imöffentlichen Sektor

Eine Automatisierung der Verwaltung verspricht Effizienz,benachteiligt Menschen aber nicht selten,wie Beispile aus ganz Europa beweisen。Wir erklären,warum dieöffentliche Verwaltung ein besonders heikles Einsatzfeld für automatisete Systeme ist und wie sich Risiken frühzeitig erkennen lassen könnten。

Wenn Sie mehrüber unsere Policy-und Advocacy-Arbeit zum Thema“KI undöffentliche Verwaltung”erfahren möchten,wenden Sie sich bitte an:

基里安·维斯·迪特曼
Stellvertretender Leiter des政策与宣传团队

德国联邦公报帽子位于ihrem Koalitionsvertrag erklärt,staatliche Strukturen und Prozesse modernisieren zu wollen。Behörden eingesetzt werden的Zu diesem Zweck sollen KI-Systeme zum automatiseten Entscheiden(自动决策,ADM):Sie sollen Steuererklärungen oder Sozialhilfanträge automatisch bearbeiten und Betrugsversuche erkennen,Vermittlungsprofile von Arbeitslosen erstellen,Polizeiarbeit unterstützen oder durch Chatbots Bürgeranfragen beantworten公司。KI kann hier最擅长Behörden entlasten和ihren Service verbessern。

很好,很有胆量。在德国,在einigen europäischen Ländern sind Digitalisierungsprossese中,出现了weiter fortgeschritical als。Dort zeigen sich deshalb aber auch häufiger die Probleme,die bei so einer Automatisierung auftreten können。

费勒im系统

Soizic Pénicaud公司阿尔贝泰特·弗拉兹·西舍·索齐亚兰特和组织者舒伦根·弗勒·佩尔索宁(Schulungen für Personen)逝世于德国国家科学技术研究院Leistungsempfänger*innen stehen。因此,eine Begleiterin erzählte ihr,dass die Menschen oft Probleme hätten,nachdem sie digital Anträge gestell t haben。我在索尔琴·法伦(solchen Fällen),sich damit abzufinden,weil nichts gegen die Technik zu machen sei。Soizic Pénicaud kennt sich mit digitalen Rechten aus und wusste daher,dass die Menschen nicht resignieren müssen,wenn ein algorithmisches System sie benachteiligt。Und sie wusste sogar,就是祖图。

Gemeinsam mit mehreren zivilgesellschaftlichen Organisationen stellte Soizic Pénicaud Anträge auf Informationsfreiheit bei der Sozialbehörde。我是2023年11月,详细信息请参阅算法。统计分析(ergaben),dass das System fehlerhaft ist。Menschen mit Beimestungen,alleinerziehende Mütter undärmere Menschen im Allgemeinen galten generallel als potenzielles Betrugsrisiko,在维埃伦·法伦·达祖·福尔特(vielen Fällen dazu Führte),自动化实验室Leistungen eingestellt wurden。Von dem Algorithmus betroffen waren 1300万Haushalte。

Automatisierte Ungerechtigkeit在欧洲

在欧洲法律体系中,gegen最适合Menschen gerichtet und ungerecht waren。

Dänemark公司 erhalten Sozialhilfeempfänger*innen nur dann die volle Unterstützung,wenn sie im Vorjahr weniger als 225 Stunden gearbeitet habeen。Ein privates Beratungsunternehmen hatte Ein Tool entwicket,mit dem diese Regel automaticsch umgesetzt werden sollte。Durch einen软件—Fehler wurde aber dann fälschlicherweise der Leistungsumfang vieler Menschen gekürzt。Deshalb mussten Komumen jeden einzelnen Fall per Hand prüfen,是犹太人zwischen 30分钟和drei Stunden dauerte。

意大利语解决方案Lehrer*在Verträgen的基础上,对算法的效果和对个人的影响进行了研究。代码-und Designfehler führten dazu,dass die Leben der Lehrkräfte erheblich beeinterächtigt wurden。Die Lehrer*innen sollten zum Beispiel Hunderte von Kilometer pendeln,obwohl es of ne Stellen gab,Die längst nicht so weit weg von ihrem Wohnort lagen。

厄斯特里奇Arbeitsmarktservice einen auf ChatGPT basierenden Chatbot im Wert von 300.000 Euro eingeführt,um Arbeitssuchenden bei Fragen zu Jobmöglichkeiten und zur Berufswahl zu helfen。Es stellte sich heraus,dass der Bot eine eher konservative Vorstellung von Geschlechterrollen verbreitet:Erriet Frauen dazu,性别研究研究者,Männern dagegen,in die IT zu gehen。

在书房里尼德兰 Auszahlung von Arbeitslosengeld verantwortliche Behörde algorithmisch Besucher*innen-ihrer网站getrackt。Der Algorithmus sammelte all hire IP-Adressen und verwendete sie zur Geolokalisierung算法全部采样。Er wurde deswegen als unrechtmäßig eingestuft und darf seither nicht mehr eingesetzt werden。

Das niederländische Institute für Menschenrechte帽子entschieden公司阿姆斯特丹Vrije大学Studierende durch den Einsatz einer Gesichtserkennung-软件gegen Betrugsversuche bei Prüfungen diskriminiert。Das System meldetüberproportional häufig Menschen mit einer dunkleren Hautfarbe公司。

Auch in Deutschland traten einige Fälle auf,in denen Behörden bei neu eingeführten KI-Systemen die Grenzen der Rechtmäigkeitüberschrited haben。我是2023年2月德国联邦最高法院entschieden公司,dass die in Hessen und Hamburg eingesetzte Palantir-Software nicht hätte verwendet werden dürfen(德国黑森和汉堡)。Urteil阻碍了bayerische Landespolizei nicht daran,wenige Wochen nach dem Urteil-ein Palantir-System zu testen,Das sich sehr wahrscheinlich nicht sonderlich von den verbotenen unterscheidet。我是2023年11月wurdeaufgedeckt公司,dass die bayerische Polizei während dieser test phase die personenbezogenin Daten aus den eigen Datenbanken automatisch analysier und verwertet(测试阶段人员)。

行动中的人:Wehrlose Versuchsobjekte

Das Bundesamt für Migration und Flüchtlinge(BAMF)在Beispiel dafür-ab,wieüberstürzt Behörden problematische Automatisierungssysteme einsetzen的突出表现。Das BAMF nutzt eine Software,die Dialecte erkennen soll,um damit die Identität und Herkunft von Asylsuchenden zu ermitteln。Diese Methode wird von公司Wissenschaftler*innen als untauglich eingeschätztTrotzdem是一个很好的解决方案,因为它是一个很好的解决方案。

Gerade People on the Move–Migrammer*innen,Geflüchtte und Reisende–werden immer häufiger Systemen Künstlicher Intelligenz und automatisier Entscheidungen ausgesetzt,ohne dass diese Systeme ausreichend getestet worden wären oder eine demokratische Diskussionüber ihren Einsatz stattgefunden hätte。Gleichzeitig häufen sich die Untersuchungen darüber,wie intranspherent diese Systeme sind und wie unzureichend ihr Einsatz regalifiert und kontrolliert wird。

在贝雷钦,移民局的工作人员包括:Menschenrechte häufiger verletzt,da-zwischen denjenigen,KI einsetzen,und denjeningen,die davon betroffen sind,ein sehr großes Machtgefälle herrscht。Wenn KI zum Beispiel beim Grenzschutz eingesetzt wird,werden Diskriminierungs集合repuduziert。Leidtragende sind Menschen,die ohnehin beriet von Diskriminierung betroffen sind(雷德特拉根德·门申)。Ihnen fehlen normalweise die Mittel,um sich dagegen zu wehren。Außerdem haben sie weitere praktische Hürden zuüberwinden。在Praxis umsetzen will中加入了EU ihre Wert und Prinzipien,muss sie die Grundrechte aller Menschen schützen–auch die Rechte der Menschen,die(noch)keine EU-Bürger*innen sind。

Risikokontrolle:Wunde Punkte deröffentlichen Verwaltung公司

法国法尔贝斯皮尔·泽根,自动化系统总公司,地址:德国沃顿,wen sie nicht mit der nötigen Vorsicht eingesetzt werden。在Folge的领导下,根据Grundrechte von Menschen的技术,或者根据Gütern和Dienstleistungen的技术。Imöffentlichen Sektor sind spezielle Voraussetzungen gegeben:Wir haben keine Wahl zwischen verschieden Anbieter*innen,sondern sind unasseichlich den Entscheidungen der für uns zuständigen Verwaltung unterworfen。Zudem können Behörden auf明智的人ezogene Daten zugreifen und ihre Entscheidungen haben für die betroffenen Personen weitreechende Folgen,zum Beispiel wen das Ausbleiben der finanziellen Grundsicherung Menschen existenziel bedroht。

Wenn Verwaltungsprozesse automatiser werden,muss sichergestellt werden、dass sie einen allgemeinen Nutzen haben、keine Schäden verursachen und fair sind。Sie dürfen außerdem nicht die Handlungsfreiheit der Betroffenen einschränken。在算法解决方案中,系统将继续运行,并增强Auflagen erfüllen和wirksam kontrolier的能力。Das ist allerdings schwierig,da algorithmische Systeme oft sehr und archichtig sind:für die Behörden und deren Personal,für-die Betroffenen und gesamte Gesellschaft。Die mangelnde Nachvollziehbarkeit verinstert eine kritische Auseinanderestzung mit den Systemen公司。Um den Einfluss von algorithmischen Systemen zu beurteilen,müsste deren Einsatz还提供了一个透明的werden–allein schon damit betroffene Personen sich gegen automatisete Entscheidungen wehren können。Wir wissen nämlich of garnicht,wenn Behörden Entscheidungen Algorithmenüberlassen。

tun gegen automatisete Verwaltungsirtümer吗?

Betroffene müssen Zugang zu allen relevanten Informationonen erhalten,wenn sie vom Einsatz eines algorithmischen Systems betroffen waren order sind,因此该数据库是最好的免疫系统Bedingengen dagegen widersprechen können。伊恩·穆森(Ihnen müssen auch einfach zugängliche)、科斯滕格·恩斯蒂格(kostengünstige)和高效的Rechtsmittel zur Verfügung stehen und sie müsen entschädigt werden,wenn ihre Rechte verletzt wurden。

Die Risiken von automatisieten Entscheidungssystemen hängen nicht nur vom technischen Modell ab,sondern auch davon,位于welchem Kontext,wozu und wie sie eingesetzt werden。《人工智能法案》(Deswegen verpflichtet der AI Act Behörden beim Einsatz von einigen besonders riskanten KI-Systemen,deren Auswirkungen auf die Grundrechte zu bewerten)。Teilweise müssen sie diese Bewertungenöffentlich zugänglich machen。Wie wirksam diese Folgenabschätzung sein wird,hängt auch von der konkreten Umsetzung ab.(维维卡姆·迪塞·福格纳布什·祖恩)。

Ein allgemein einsehbares Online-Register könnte sich zur Veröffentlichung der Ergebnisse eignen公司。Unternehmen und Verwaltung würden durch ein公司KI-注册einenüberblicküber Systeme erhalten、die bereits zum Einsatz kommen、und Menschen könnten automatisier Entscheidungen、von denen sie betroffen sind、besser nachvollziehen和von Schutzrechten Gebrauch machen。Nicht zuletzt würden auch die Zivilgesellschaft und Wissenschaftler*innen erfahren,welche Automatisierungssysteme verwendet werden。在未上任的Gesellschaft wünschen,Wisses Wissen könnte als Grundlage für eine Diskussion darüber dienen、welche Innovationen和welchen Einsatz der Systeme wir uns去世。费尔沃顿-赫尔芬透明登记处、费勒和埃尔福根-安德勒项目。(Außerdem würde ein Transparentzregister den Verwaltungen helfen,aus den Fehlern und Erfolgen anderer Projekte zulernen)。

Lesen Sie mehr zu未上任政策与倡导ArbeitADM imöffentlichen Sektor公司.

Abonniere jetzt解封社区新闻稿!


Mehr Informationonen在unser中找到最新的duDatenschutzerklärung公司.