Bürgerrechtsaktivist Spielkamp über umstrittene Polizeisoftware, automatische Bewertungssysteme und intransparente IT-Konzerne.
Herr Spielkamp, für chinesische Bürgerinnen und Bürger kann es gravierende Auswirkungen haben, wenn sie im Sozialkreditsystem schlecht bewertet werden. Bei der Republica-Konferenz 2019 haben Sie einen Vortrag gehalten mit dem Titel „Bürger-Scoring in der EU - es passiert auch hier, nicht nur in China". Was meinen Sie damit?Gemeint ist, dass es auch in Europa längst Behörden und öffentliche Institutionen gibt, die Bürger mit Hilfe von automatisierten, algorithmenbasierten Systemen bewerten. Auf dieser Grundlage werden Entscheidungen getroffen, die für die gesellschaftliche Teilhabe dieser Menschen relevant sind.
Sie haben diese Fälle in einem Bericht zusammengetragen. Besonders häufig kommen die Algorithmen im Bereich der Sozialsysteme zum Einsatz. Können Sie Beispiele nennen?In Dänemark sollte ein System eingeführt werden, das auf Grundlage von Daten etwa zu Arbeitslosigkeit oder der Anzahl von Arztbesuchen das Risiko für Kindesvernachlässigung berechnet. Weil es sehr große Proteste dagegen gab, ist das Projekt zwischenzeitlich aber auf Eis gelegt. Der Arbeitsmarktservice in Österreich dagegen setzt nach wie vor einen Algorithmus ein, um die Arbeitsmarktchancen von Jobsuchenden zu bewerten - auf dieser Grundlage wird dann etwa entschieden, ob der Staat ihnen Weiterbildungen finanziert. Auch das wird allerdings kritisiert.
Matthias Spielkamp.Warum?Weil der Algorithmus bestimmte Vorurteile, die in der Gesellschaft herrschen, perpetuiert. Frauen mit Kindern wurden zum Beispiel automatisch Betreuungspflichten zugewiesen, Männern aber nicht. Offenbar ist man davon ausgegangen, dass die Frau das in jedem Fall übernimmt. Diese Annahme wurde in den Algorithmus kodiert und damit die bestehende Ungleichheit fortgeführt.
Haben Sie auch ein Beispiel aus Deutschland gefunden?Das Problem ist: Es gibt keine Möglichkeit herauszubekommen, wo Verwaltung und Behörden in Deutschland solche Systeme einsetzen, denn es fehlt ein Register dafür. Es einzurichten ist schwierig. Zum einen muss man klar abgrenzen, was rein kommt. Für manche Leute ist schon Microsoft Excel oder die automatische Rechtschreibprüfung eine künstliche Intelligenz. Die andere Frage ist, welche Stellen überhaupt in das Register aufgenommen werden. „Verwaltung" - das ist vom Bund bis zur Kommune alles. Eine Sisyphusarbeit. Aber wir müssen das anpacken. Nur so wissen wir, wo Risiken drohen.
Zur PersonMatthias Spielkamp ist Mitgründer und Geschäftsführer der NGO Algorithm Watch. Der Journalist war mehrfach Sachverständiger in Bundestagsanhörungen, etwa zu künstlicher Intelligenz.Algorithm Watch analysiert die Auswirkungen algorithmischer Entscheidungsfindungsprozesse auf menschliches Verhalten, ordnet sie ein und zeigt ethische Konflikte auf. In den Studien „Automating Society" und „Atlas der Automatisierung" trägt die Organisation Beispiele für algorithmenbasierte Systeme in Europa und Deutschland zusammen. fr Immer häufiger setzen Polizeibehörden Software zur automatisierten Datenanalyse ein, etwa um verdächtige Personen frühzeitig zu identifizieren - in Hessen das Programm „Gotham" von Palantir. Wo liegt aus Ihrer Sicht hier das Risiko?Zur Person
Matthias Spielkamp ist Mitgründer und Geschäftsführer der NGO Algorithm Watch. Der Journalist war mehrfach Sachverständiger in Bundestagsanhörungen, etwa zu künstlicher Intelligenz.
Algorithm Watch analysiert die Auswirkungen algorithmischer Entscheidungsfindungsprozesse auf menschliches Verhalten, ordnet sie ein und zeigt ethische Konflikte auf. In den Studien „Automating Society" und „Atlas der Automatisierung" trägt die Organisation Beispiele für algorithmenbasierte Systeme in Europa und Deutschland zusammen. fr
Ermittlungen mit automatisierter Datenanalyse zu unterstützen, ist nicht per se schlecht; es könnte sogar Vorteile bringen, wenn zum Beispiel versucht wird, bestehende Vorurteile und Rassismus zu neutralisieren - einfach weil das System eine evidenzbasierte Entscheidung ermöglicht. Deswegen sind wir nicht prinzipiell dagegen. Es kann aber auch den gegenteiligen Effekt haben und Diskriminierung verstärken - nämlich dann, wenn Sie auf Grundlage voreingenommener Datensätze zu voreingenommenen Prognosen kommen.
Was ist ein voreingenommener Datensatz?Es gibt einen großen Unterschied zwischen der Kriminalität, die tatsächlich passiert, und der Kriminalität, die angezeigt und verfolgt wird. Ganz nach dem Motto: Wenn im Frankfurter Bahnhofsviertel einer dealt, wird er hochgenommen, aber wenn er das im Taunus macht, dann nicht - einfach weil da gerade kein Polizist unterwegs ist. Also bekommen Sie einen voreingenommenen Datensatz. Und das wird reproduziert. Im Endeffekt könnte das zu Ghettoisierung führen. Das muss nicht so sein - es kommt eben darauf an, welche Kontrollmechanismen existieren.
Reichen die Kontrollmechanismen in Hessen aus?Nein, da fehlt es aus meiner Sicht an Transparenz. Palantir gewährt uns keinen Einblick. Es wird alles geheim gehalten und der Souverän kann sich kein gutes Bild machen. Dazu kommt: Die Aufsicht führt in Hessen der Datenschutzbeauftragte. Aber für viele Probleme, die bei diesen Programmen auftreten können, hat der gar keine Handhabe. Er kümmert sich zwar darum, dass die bestehenden Gesetze zum Datenschutz eingehalten werden - aber zum Beispiel nicht, ob der Datensatz inhaltlich voreingenommen oder verzerrt ist.
Interview: Alicia Lindhoff und Ruth Herberg