Dieser Gastbeitrag basiert auf einem gemeinsamen Policy Paper von neun Wissenschaftlerinnen und Wissenschaftlern aus der Schweiz, Deutschland, Österreich und den Niederlanden, die sich in ihren Arbeiten mit ethischen und sozialwissenschaftlichen Fragen im Bereich der Digitalisierung beschäftigen. Anlass ist ein Gesetzesentwurf der Bundesregierung, wonach algorithmengestützte Systeme bald erste Einschätzungen für medizinische Notfälle abgeben könnten.

In einer Folge der Fernsehserie Star Trek - Raumschiff Voyager aus dem Jahr 1999 steht " The Doctor", wie er von allen schlicht genannt wird, vor einer schweren Entscheidung. Auf seiner Krankenstation liegen zwei Schwerverletzte, die mit dem Leben ringen. Sie weisen analoge Verletzungen auf. Die knappe Zeit lässt es nicht zu, beide Patienten zu retten. Man muss sich für einen von beiden entscheiden. The Doctor in dieser Science-Fiction-Serie ist kein Mensch. Es ist eine Maschine, die präzise berechnend zu Urteilen gelangen soll. Die Folge wirft die Fragen auf: Kann ein Computer qualifiziert über Leben und Tod entscheiden? Soll er das dürfen?

Wer im Jahr der Erstausstrahlung der Star-Trek-Folge (1999) meinte, solche Fragen würden erst in der projizierten Zukunft der Serie im 24. Jahrhundert auf die Menschheit zukommen, dürfte sich inzwischen die Augen reiben. Schon jetzt sind wir damit konfrontiert, wie ein aktueller Gesetzentwurf des Bundesgesundheitsministeriums zeigt. Dieser sieht die Einführung eines sogenannten Ersteinschätzungssystems für Notfallpatientinnen und -patienten vor - mit anderen Worten: eine Triagesoftware. In anderen Ländern sind solche Systeme bereits im Einsatz.

Newsletter

Dabei geht es um die algorithmengestützte Entscheidung über die vor- oder nachrangige Behandlung von Patientinnen und Patienten in der Intensiv- und Notfallmedizin. Dass Fragen zur Rationierung und Priorisierung medizinischer Versorgung nicht nur theoretischer Natur sind, weiß man aus Zeiten des Kriegs. Seit Covid-19 erleben wir sie auch im zivilen Kontext.

Der vorliegende Gesetzentwurf und damit der verbindliche und standardisierte Einsatz eines Systems, das algorithmenbasierte Triageentscheidungen vorsieht, wird von der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI) und anderen Fachgesellschaften scharf kritisiert. Es gebe derzeit "kein wissenschaftlich validiertes Ersteinschätzungssystem, das automatisiert die Behandlungsdringlichkeit feststellen" könne, und "jede Fehleinschätzung aufgrund eines bloßen Abfragemoduls kann fatale Folgen für den einzelnen Patienten haben". Die Medizinerinnen und Mediziner sehen große Probleme, "wenn Patienten zukünftig ohne ärztliche Abklärung allein aufgrund eines Softwarealgorithmus abgewiesen werden können", heißt es in einer gemeinsamen Erklärung.

Die fünf großen Probleme mit algorithmisch geleiteter Triage

Aus einer sozialwissenschaftlichen und ethischen Sicht, die unsere Autorengruppe repräsentiert, stellen sich jedoch noch grundsätzlichere Fragen und Probleme. Unsere Kritik an einer algorithmisch geleiteten Triage richtet sich dabei im Kern gegen die Delegation von Verantwortung an Systeme der künstlichen Intelligenz.

Erstens sind Mediziner Fachexpertinnen in ihrem Bereich. Über eine besondere Fachkenntnis bei der Beurteilung moralischer Dilemmasituationen und ihrer juristischen Folgen verfügen sie jedoch nicht in einem besonderen Maße. Wird den medizinischen Experten nun ein Softwarealgorithmus für Entscheidungen in der Intensiv- und Notfallmedizin zur Seite gestellt, so birgt dies die Gefahr eines Verantwortungstransfers an künstliche Intelligenz. Dies kann stattfinden, weil den metrischen Systemen eine "epistemische Autorität" innewohnt, die - scheinbar präzise - eine angemessene Entscheidung vorschlägt. Gleichzeitig scheint die Befolgung algorithmischer Empfehlungen oft geboten, weil sie im Schadens- oder Klagefall von Vorteil sein kann.

Das Problem einer Übertragung von Verantwortung an algorithmische Systeme verschärft sich zweitens in der Medizin - wie auch anderswo - dadurch, dass hohe Anforderungen und ein breites vernetztes (medizinisches, rechtliches und gesellschaftliches) Wissen an die Entwicklerinnen und Entwickler gestellt werden müssten, was aber nicht vorausgesetzt werden kann. Ein solches Wissen wäre jedoch wichtig, weil die entwickelten Softwarelösungen nicht notwendigerweise und nicht immer zum Wohle der Gesellschaft reichen, ja, mitunter ethisch und juristisch fragwürdig sein können.