„Die letzte Entscheidung muss beim Menschen bleiben“

Künstliche Intelligenz verändert die Medizin grundlegend, von der Bildgebung über die Risikoprädiktion bis zur automatisierten Dokumentation. Doch mit der wachsenden Leistungsfähigkeit steigen auch die Risiken durch intransparente Modelle, schleichenden Kompetenzverlust oder zu unkritisches Vertrauen in maschinelle Empfehlungen. Philipp A. Toussaint forscht am Campus Heilbronn der Technischen Universität München (TUM) an der Schnittstelle von Künstlicher Intelligenz, Entscheidungspsychologie und Gesundheitsinformationssystemen. Im Gespräch erläutert er, wie erklärbare KI die Patientensicherheit stärken kann – und wo die Grenzen liegen.

HIE: KI-Systeme liefern heute in vielen Bereichen der Medizin beeindruckende Ergebnisse. Gleichzeitig fällt immer wieder der Begriff „Black Box“. Warum ist das im klinischen Kontext so problematisch?

Philipp A. Toussaint

Fotografin: Annalena Toussaint 

Philipp A. Toussaint: „Weil medizinische Entscheidungen begründbar sein müssen – gegenüber dem Patienten, im Tumorboard, im Zweifel auch vor Gericht. Viele moderne KI-Modelle, insbesondere tiefe neuronale Netze, liefern zwar ein Ergebnis wie Risikoscores oder auch eine Diagnoseempfehlung, aber der Weg dorthin bleibt verborgen. Im Alltag mag das bei manchen Anwendungen tolerierbar sein. In der Medizin, wo Entscheidungen unmittelbare Auswirkungen auf die Gesundheit von Menschen haben, ist es das nicht. Eine Empfehlung, die das Fachpersonal nicht erklären kann, ist in der klinischen Praxis schlicht nicht tragfähig.“ 

Der EU AI Act stuft KI im Gesundheitswesen als Hochrisikotechnologie ein. Verschärft das den Druck?

„Erheblich. Die ab 2027 vollständig geltenden Anforderungen verlangen umfassende technische Dokumentation, Nachvollziehbarkeit der Outputs und die Möglichkeit menschlicher Aufsicht. Transparenz wird damit von einem „Nice-to-have“ zu einer Rechtsvoraussetzung. Das betrifft nicht nur die Hersteller, sondern auch die Kliniken als Anwender. Sie müssen sicherstellen, dass sie die Systeme verstehen, die sie einsetzen.“ 

Hier setzt das Konzept der Erklärbaren KI an – Explainable AI, kurz XAI. Was genau kann man sich darunter vorstellen? 

„Im Kern geht es darum, die internen Entscheidungsprozesse von KI-Modellen so aufzubereiten, dass sie für Anwender verständlich werden. Wichtig ist, dass die Art und Tiefe der Erklärung dabei auch auf die jeweilige Zielgruppe zugeschnitten sind. Deshalb gibt es bereits eine Vielfalt an Methoden innerhalb der XAI; im medizinischen Bereich sind beispielsweise folgende relevant: 

• lokale Erklärungen wie z.B. Shapley-Werte, die zeigen, welche Faktoren eine einzelne Vorhersage maßgeblich beeinflusst haben; 
• Heatmaps in der Bildgebung, die relevante Bildbereiche farblich hervorheben; 
• regelbasierte Approximationen, die das Verhalten eines komplexen Modells durch einfachere, verständliche Regeln annähern. 

Das Entscheidende ist in allen Fällen, dass die Erklärung dem Menschen ermöglicht, das Ergebnis einzuordnen, zu bewerten und – wenn nötig – zu hinterfragen.“ 

Das bringt uns zu einem heiklen Punkt: Besteht auch bei medizinisch versiertem Fachpersonal eine Tendenz, automatisierten Empfehlungen zu stark zu vertrauen und eigene Einschätzungen zurückzustellen?

„Ja, für den sogenannten Automation-Bias gibt es auch hier empirische Belege, die es differenziert zu betrachten gilt. Aktuelle Studien zeigen beispielsweise, dass die unassistierte Polypen-Erkennungsrate von Ärzten nach längerer KI-Nutzung sinkt. Bei britischen Allgemeinmedizinern führten fehlerhafte Empfehlungen eines klinischen Entscheidungsunterstützungssystems in 5,2% der Fälle zu falschen Verschreibungen. In der Mammographie sank die Genauigkeit von Radiologen, wenn die KI fehlerhafte Hinweise gab – insbesondere bei weniger erfahrenen Fachkräften. Das sind keine hypothetischen Szenarien, sondern belegte Effekte.“ 

Nun könnte man einwenden: Auch ein Radiologe „vertraut“ dem CT-Bild, ohne die gesamte Physik der Computertomographie im Detail nachvollziehen zu müssen. Ist das nicht vergleichbar?

„Der Vergleich ist nachvollziehbar, aber er greift zu kurz. Beim CT-Bild versteht der Radiologe das Ergebnis. Er kann die Strukturen, die er sieht, auf Basis seiner Ausbildung interpretieren, einordnen und bewerten. Bei einer KI-Empfehlung hingegen ist unklar, auf welcher Basis die Einschätzung zustande kommt. Und das Paradoxe ist: Erklärungen können den Automation-Bias sowohl abschwächen als auch verstärken. Eine gute, transparente Erklärung kann dazu führen, dass Anwendende kritischer hinschauen. Eine scheinbar plausible, aber letztlich oberflächliche Erklärung hingegen kann genau das Gegenteil bewirken. Sie vermittelt das Gefühl, alles verstanden zu haben, und unterdrückt damit die kritische Reflexion.“ 

Was kann man dem entgegensetzen?

„Ein vielversprechender Ansatz ist das sogenannte „Cognitive Forcing“, das Strategien zur bewussten Kontrolle kognitiver Verzerrungen benennt, etwa durch das explizite Formulieren alternativer Hypothesen oder eine unabhängige klinische Erstbeurteilung, bevor die KI-Empfehlung angezeigt wird. Dazu kommen Human-in-the-Loop-Systeme, die dokumentierte Begründungen verlangen, wenn ein Arzt von der KI-Empfehlung abweicht – oder ihr folgt. Entscheidend bleibt: KI muss immer als Unterstützungssystem verstanden werden, niemals als Ersatz für medizinische Expertise. Die letzte Entscheidung muss beim Menschen bleiben.“

Ein weiterer kritischer Punkt ist das Datenmaterial. Welche Rolle spielen biomedizinische Daten und ihre Qualität?

„Eine fundamentale. Jedes KI-System ist nur so gut wie seine Trainingsdaten. Wenn diese Daten verzerrt, unvollständig oder nicht repräsentativ sind, werden auch die Modelle fehlerhafte Ergebnisse liefern, egal wie erklärbar sie sind. Ein Modell, das überwiegend mit Daten einer bestimmten Population trainiert wurde, kann bei Patienten aus einer anderen Bevölkerungsgruppe systematisch falsch liegen. Gerade bei hochsensiblen biomedizinischen Daten verschärft sich dieses Problem. Die Integration in klinische Informationssysteme erfordert nicht nur technische Interoperabilität, sondern rigorose Governance: Wer hat Zugang? Wie wird die Datenqualität über die Zeit sichergestellt? Wie werden Performanzverluste erkannt, wenn sich die Patientenpopulation verändert?“ 

Sie betonen, dass Erklärungen zum Empfänger passen müssen. Was meinen Sie damit konkret?

„Es gibt nicht „die eine“ Erklärung, die für alle passt. Ein Pathologe, der ein KI-System zur Gewebediagnostik nutzt, braucht detaillierte visuelle Informationen: Welche Strukturen hat das Modell als auffällig identifiziert? Welche morphologischen Merkmale waren ausschlaggebend? Ein behandelnder Arzt hingegen, der auf Basis des Befunds eine Therapieentscheidung trifft und diese dem Patienten kommuniziert, braucht eine Erklärung, die die klinische Relevanz verständlich macht, ohne ins technische Detail zu gehen. Nutzerzentrierte, adaptive Erklärungssysteme, die Rolle, Erfahrung und Entscheidungssituation berücksichtigen, sind aus meiner Sicht eines der zentralen Forschungsfelder im Bereich XAI.“ 

Welche konkreten Empfehlungen geben Sie medizinischen Führungskräften?

„Erstens: eine kluge Beschaffung, die nicht nur Sensitivität und Spezifität bewertet, sondern gezielt nach den Transparenzmechanismen eines Systems fragt. Wie erklärt es seine Empfehlungen? Ist es validierbar? Erfüllt es die Anforderungen des EU AI Act? Zweitens: die systematische Qualifizierung des Fachpersonals. Ärztinnen, Ärzte und Pflegekräfte müssen KI-Erklärungen interpretieren und kritisch hinterfragen können. Das erfordert neue Kompetenzen an der Schnittstelle von Medizin, Datenanalyse und Entscheidungspsychologie. Und drittens: klare Governance-Strukturen, Verantwortlichkeiten, Qualitätskontrollen, ein kontinuierliches Monitoring der Systemleistung im klinischen Alltag.“ 

Wenn Sie es auf einen Satz verdichten müssten: Wie kann KI im klinischen Alltag eingesetzt werden, ohne die Patientensicherheit zu gefährden?

„Erklärbare KI ist weit mehr als ein technisches Zusatzfeature. Sie bildet die Grundlage für vertrauenswürdige, verantwortungsvolle KI-gestützte Entscheidungsprozesse. Die eigentliche Herausforderung ist keine rein technische – es geht darum, Transparenz so zu gestalten, dass sie die menschliche Entscheidungsfindung ergänzt, ohne sie zu überfordern oder zu ersetzen. Wer das als Randthema behandelt, unterschätzt die Tragweite der digitalen Transformation im Gesundheitswesen.“ 

Profil: 

Philipp A. Toussaint ist wissenschaftlicher Mitarbeiter am Lehrstuhl für Informationsinfrastrukturen am TUM Campus Heilbronn und Doktorand am Karlsruher Institut für Technologie (KIT) sowie am Deutschen Krebsforschungszentrum (DKFZ) in Heidelberg. Seine Forschungsschwerpunkte liegen in erklärbarer und vertrauenswürdiger KI, Gesundheitsinformationssystemen, biomedizinischen Daten und der Genomik. 

Literatur:

1. Barredo Arrieta, A. et al. (2020): Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 82–115. 
2. Brasse, J., et al. (2024). Explainable AI in Healthcare: Systematic Review of Clinical Decision Support Systems. Technological University Dublin research repository. 

15.06.2026

• Arbeitsablauf (220)
• Digitalisierung (278)
• KI (580)
• Sicherheit (261)