Künstliche Intelligenz kommt oft als Black Box daher, deren Handeln kein Mensch versteht. Entwickler:innen wollen Licht ins Dunkel bringen - wiederum mithilfe von KI
Die Lebensversicherer stecken in der Krise. Das Geschäft läuft nicht mehr, Unternehmen werden übernommen, andere abgewickelt. Als ob das nicht schon genug wäre für die Branche, stehen die verbleibenden Versicherer vor der Frage, wie sie einen ungeordneten Haufen alter Versicherungsdaten ins digitale Zeitalter überführen sollen - „migrieren", wie es Fachleute wie Axel Helmert formulieren, der Head of Product Management für den Bereich Zentraleuropa von Msg Life. Der Münchner Software-Dienstleister mit rund 1200 Beschäftigten hat sich in den vergangenen Jahren den einst vernachlässigten Datensätzen angenommen - und liefert sie in gebündelter, übersichtlicher und einfach nutzbarer Form an seine Kund:innen aus.
Allein in Deutschland steht für sie aktuell die Migration von 10 Millionen Einzelverträgen an, die Informationen wie das Alter, Geschlecht, Einzahlungen und Prämien beinhalten. „Eine Migration beinhaltet neben der korrekten Übertragung der reinen Vertragsdaten immer auch die Notwendigkeit einer Transformation der mit den Verträgen verbundenen Businesslogik", sagt Helmert. Unmöglich, dies händisch zu verarbeiten. „Über die Jahrzehnte haben sich da ganz viele Berechnungsmethoden angesammelt, die nicht immer ausführlich und verständlich dokumentiert sind", sagt er.
Sein Team hat daher eine Methode des Machine Learning entwickelt, die den Job übernimmt, „ohne dass da jemand reingucken muss", wie er sagt. Die angewandten neuronalen Netze erkennen eigenständig Muster in den riesigen Datensätzen und folgern daraus, mit welchen Formeln die Versicherer wohl die Konditionen der Kundenverträge berechnet haben. Das rettet die angeschlagenen Firmen vor Kosten, die sie kaum stemmen könnten. Die Methode hat jedoch den Nachteil, den Künstliche Intelligenz so oft mit sich bringt: „Neuronale Netze können die Funktionalität in der gewünschten Qualität lernen. Im sogenannten „Training" schauen sie nur auf Input und Output. Die interne Darstellung ist für den Menschen aber schwer zu verstehen", so Helmert.
Was hier entsteht, ist eine klassische Black Box: eine Künstliche Intelligenz, deren Arbeitsweise sich uns Menschen nicht erschließt. Das muss jedoch nicht so bleiben. Wissenschaftler und Firmen, darunter auch Größen wie IBM, investieren vermehrt in „Explainable AI", bekannt auch unter dem Schlagwort „X AI". Sie kommen damit dem Drängen von Behörden, Verbraucher:innen und zivilgesellschaftlichen Gruppen nach, die Tech-Firmen dazu auffordern, ihre KI-Modelle transparenter zu gestalten.
So hat die Europäische Kommission im Mai 2021 einen Vorschlag zur Regulierung von Künstlicher Intelligenz vorgelegt - und darin eine Aufteilung in Risikogruppen vorgenommen: „Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass ihr Betrieb hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems angemessen interpretieren und verwenden können", heißt es beispielweise in den Anforderungen.
Fußnoten für Algorithmen
Licht in die Black Box zu bringen, das hat jedoch auch seine Grenzen: Der Aufwand ist hoch und nicht jede Firma will sich in die Karten schauen lassen. Zudem wäre da noch die Frage, wie aufschlussreich die Einblicke in undurchsichtige KI sind, wenn dabei abermals KI zum Einsatz kommt.
Helmert kommt immer wieder auf die Finanzaufsicht zu sprechen, deren Genehmigungen sie bei Msg brauchen: „Man kann neuronale Netze nicht einsetzen, wenn es nicht eine gewisse Qualitätssicherung gibt. Es braucht da eine Erklärbarkeit". Grundsätzlich kann er die Anforderungen der Behörden auch nachvollziehen, vor allem, weil es das Risiko von Ausreißern gibt, wie er an einem fiktiven Beispiel erklärt: Ein Kunde unter Zehntausend bekommt vielleicht die Hälfte oder das Doppelte seiner Prämie ausgezahlt, weil der KI ein Fehler unterlief. Das müsse überprüfbar sein.
Und es sollte bestenfalls gar nicht erst vorkommen, weshalb Msg selbst ein Interesse hat, die Entscheidungsfindung der eigens entwickelten KI besser zu verstehen. Helmert erklärt, wie sie das heute schon mit „Referenzen" angehen, die sie in die KI eingebaut haben: eine Art Fußnote in dem Algorithmus, der auf die Versicherungsformeln in den alten Datensätzen verweist. „Wir können so auf die Quellen des neuronalen Netzes gucken", so Helmert.
KI erklärt KI
Weil das aufwändig und umständlich ist, arbeiten sie nun mit öffentlichen Forschungsgeldern in einer Kooperation mit der TU München an einer automatisierten Lösung: ein sogenanntes „Metamodel". Die KI, die Msg für die Migration der Daten nutzt, ist ein mathematisches Modell, das sich in einem Lernprozess die Versicherungsformeln zu erschließen versucht. Um zu erkennen, wie das Modell vorgeht, setzt Helmerts Forschungsteam nun ein weiteres KI-Modell ein, das zu erklären versucht, wie die ursprüngliche KI vorgegangen sein könnte.
Explainable AI als die Interpretation einer Interpretation. So könnte man die Methode bei Msg auch beschreiben. Das ist ein wichtiger Schritt beim Versuch, Licht in das Dunkel einer Black Box zu bringen. Perfekte Erklärbarkeit ist das jedoch nicht. In einem Aufsatz mit Kolleg:innen hat Boris Babic, Professor für Philosophie und Statistik an der Universität Toronto, derlei Vorgehensweisen als „ersatz understanding" bezeichnet.
Sie beziehen sich in dem in der Fachzeitschrift Nature erschienen Text auf Explainable AI für die Black Boxes automatisierter Krankheitsdiagnostik, schließen aber nicht aus, dass sich ihre Kritik nicht auch auf andere Felder übertragen lässt. Explainable AI liefere eine nachträgliche Interpretation, „die nicht zwangsläufig der eigentliche Grund für die Vorhersagen war oder ursächlich mit ihnen verbunden ist", schreiben sie. Erklärbarkeit würde nur suggeriert. Damit gingen auch Risiken einher: „Da keine Erklärung im Sinne eines Öffnens der Black Box oder der Darlegung der inneren Mechanismen geleistet wird, garantiert dieser Ansatz nicht, dass Vertrauen erhöht wird und zugrunde liegende moralische, ethische und rechtliche Bedenken ausgeräumt werden".
Vom Potenzial und den Grenzen von Explainable AI kann auch Wojciech Samek sprechen, der am Fraunhofer Heinrich Hertz Institut in Berlin zu Künstlicher Intelligenz forscht. „Eine Erklärung sollte kein Selbstzweck sein", sagt er und mahnt dazu, die Frage zu stellen, ob und wofür die Erklärbarkeit wirklich gut sei, ob sie wirklich einen Mehrwert liefere. Denn Explainable AI kann auch mit Nachteilen daherkommen. Die Kosten für den Einsatz zum Beispiel, vor allem wenn es um sehr komplexe Modelle geht. Außerdem sind Algorithmen oft „das wertvollste Asset" von Firmen, wie er es formuliert: „Ein Zugriff auf die Interna des Modells zu gewähren, um Entscheidungen zu klären, das kann ein limitierender Faktor für den Unternehmenserfolg sein".
Samek kann nachvollziehen, weshalb die Europäische Kommission für eine künftige Regulierung keine grundsätzliche Pflicht zur Erklärbarkeit vorschreibt. „Es gibt Modelle, die nicht unbedingt erklärbar sein müssen, wie die Empfehlungsalgorithmen von Netflix und Amazon. Da ist völlig okay, wenn wir sie nicht ganz genau nachvollziehen können", sagt er.
Auch die EU wird derlei Systeme vermutlich als „Minimal Risk" einsortieren und ohne Auflagen laufen lassen. Auch bei Chatbots, die als „Limited Risk" gelten, reicht ein kurzer Disclaimer, dass Nutzer:innen es mit einer KI zu tun haben. Als „High Risk" bewertet die EU wiederum unter anderem KI für öffentliche Verkehrsmittel, für die Benotung von Uniprüfungen, sowie bei Personalentscheidungen und Rechtsverfahren. Wie komplex eine KI dabei ist oder wie schwer sie zu entschlüsseln ist, das spielt bei der Einordnung keine Rolle. Was zählt, ist allein die Anwendung.
Es geht um Vertrauen
Leslie Casas arbeitet für das Münchner Büro des japanischen IT-Unternehmens Fujitsu, die mit XAI-Lösungen werben. Bei Anwendungen, die von der EU voraussichtlich als hochriskant eingestuft werden, liegt auch für sie der Nutzen auf der Hand. Fujitsu hat eine KI entwickelt, die anhand von Genmutationen das Eintreten bestimmter Krankheiten vorhersagt - und das Ergebnis automatisiert mit einer umfangreichen Datenbank abgleicht. „In der medizinischen Diagnose musst du wissen, weshalb bestimmte Entscheidungen getroffen wurden", sagt Casas und erklärt, dass sie eine Methodik anwenden, die nun sogenannte „Interferenzfaktoren" liefert: Hinweise auf die Daten, die für die Klassifizierung durch die KI ausschlaggebend waren. Allerdings ist auch das eine Annäherung - und keine exakte Erklärung der Entscheidung. Eine Maschine, die eine andere Maschine zu verstehen versucht.
Ähnlich auch bei einem Verfahren in der Textilindustrie, das Casas nennt. Eine KI von Fujitsu analysiert Kameraaufnahmen der Stoffe entlang der Produktionsstraße: Geschult wurde sie mit fehlerhaften Stoffen, die beispielsweise Risse und Verunreinigungen hatten. Nun kategorisiert die KI diese automatisch und signalisiert, welche aussortiert werden sollen. Aber was, wenn die KI nicht den Riss oder die Verunreinigung, sondern die Art des Musters als Grund für den Ausschluss wählt?
Um falsche Schlussfolgerungen dieser Art zu verhindern, wendet Fujitsu unterschiedliche XAI-Methoden an - darunter eine Heatmap. Sie zeigt in leuchtender Farbe an, welche Bereiche des Stoffes ausschlaggebend für die Entscheidung der KI waren.
Den meisten Endkunden dürfte es egal sein, weshalb eine KI nun irgendwo in der Produktion ihrer Kleidung fehlerhafte Stoffe aussortiert hat. Auch die EU deutet an, dass sie vor allem die KI-Anwendungen für heikle Produkte streng begutachten will, dort beispielweise, wo die Gesundheit der Verbraucher:innen Schaden nehmen könnte.
Casas meint daher vor allem Firmenkunden, wenn sie von der Bedeutung der XAI-Lösung in der Produktion spricht: „Es verstärkt zudem das Vertrauen der Kunden, wenn wir zeigen können, dass mit einer hohen Akkuratheit von nahezu 100 Prozent gearbeitet wird", sagt sie. Hier ist es weniger das Ziel, eine Black Box komplett auszuleuchten. Gefragt ist ein Beleg dafür, dass die KI überhaupt ihr Kernversprechen einzulösen vermag: intelligente Entscheidungen zu treffen.
