Künstliche Intelligenz im Gesundheitswesen: nicht immer fair

Künstliche Intelligenz ist ein öffentlichkeitswirksamer Sammelbegriff – „unter der Haube“ besteht KI aus Algorithmen, die auf bestimmten Methoden des maschinellen Lernens beruhen. Eine dieser Methoden, die in den letzten Jahren besonders viel Aufmerksamkeit erhalten hat, ist das sogenannte künstliche neuronale Netzwerk. Hierbei werden algorithmisch die Schichten von Nervenzellen (idealisiert) nachgebildet, die bei Lernprozessen im menschlichen Gehirn beteiligt sind. Besonders komplexe Lernaufgaben erfordern hierbei besonders viele Schichten an künstlichen Neuronen – dies ist das sogenannte Deep Learning, ein weiteres Schlagwort aus dem Bereich der KI. 

Ein neuronales Netzwerk (und andere Formen der KI) lernt die Erfüllung seiner Aufgabe – etwa das Stellen einer bestimmten Diagnose – anhand von Trainingsdaten. Wenn die Aufgabe etwa ist, bösartige von gutartigen Veränderungen auf Röntgen-Thorax-Bildern zu unterscheiden, dann werden als Trainingsdaten viele Tausend oder Millionen von Röntgenbildern von gutartigen und bösartigen Veränderungen benötigt. Der Algorithmus klassifiziert jedes einzelne dieser Trainingsbilder und vergleicht sein Ergebnis jeweils mit der „realen“, menschlich gestellten Diagnose, die mit dem Trainingsdatensatz mitgeliefert wird. War die Diagnose des Algorithmus falsch, werden Gewichtungen einzelner Verbindungen zwischen den virtuellen Neuronen neu gewichtet, um beim nächsten Durchlauf die Genauigkeit zu verbessern. 

Sind alle Trainingsdaten verarbeitet, wird ein neues, kleineres Datenset herangezogen, um die Treffsicherheit des fertig trainierten Algorithmus zu überprüfen – die sogenannte Validation.

Qualität der Trainingsdaten: Garbage in, garbage out

An dieser Stelle wird schon deutlich: Die Genauigkeit des KI-Algorithmus kann nur so gut werden wie die Qualität der Trainingsdaten. Wenn sich etwa in die Trainingsdaten viele Röntgenbilder verirrt haben, in denen einer bösartigen Veränderung irrtümlicherweise durch den menschlichen Experten das Label „gutartig“ zugewiesen wurde oder umgekehrt – dann wird die KI an falschen Beispielen lernen, was später ihre Treffsicherheit beeinträchtigen wird. 

Qualitativ hochwertige Trainingsdaten für Algorithmen zu bekommen, stellt sich in unserem bisher nur zögerlich digitalisierten Gesundheitswesen häufig als schwierig heraus. Sorgfältig von Hand validierte Daten lassen sich oft nur in geringem Umfang beschaffen – für ein gutes Training benötigt der Algorithmus aber eine sehr hohe Anzahl an Trainingsdaten. Wenn massenhaft digitale Daten beschafft werden können, dann häufig aus Quellen mit inkonsistenter Qualität. Weiter kompliziert wird dies durch die Frage des Schutzes personenbezogener Daten im Gesundheitswesen. 

Die Tatsache, dass die Genauigkeit eines Klassifikationsalgorithmus immer von der Güte der Trainingsdaten abhängt, wird oft in dem flapsigen Merksatz „Garbage in, garbage out“ zusammengefasst: wenn die Input-Daten Müll sind, werden auch die Klassifikationen, die die KI liefert, Müll sein.

Aber nicht alle Arten von mangelhaftem Output sind sofort als solche erkennbar. Tückisch sind subtile Verzerrungen in den Klassifikationen eines Algorithmus, die durch eine unausgewogene Zusammensetzung der Trainingsdaten verursacht wurden. So ist die Genauigkeit von diagnostischen Algorithmen in solchen Populationen schlechter, deren Daten in den ursprünglichen Trainingsdaten unterrepräsentiert waren. 

Ein bekanntes Beispiel sind Algorithmen zur Klassifikation bösartiger Hauttumoren, die mit Trainingsdaten von überwiegend hellhäutigen (kaukasischen) Personen trainiert wurden. Diese zeigen später eine geringere diagnostische Genauigkeit, wenn sie eine korrekte Diagnose bei einem dunkelhäutigen Menschen stellen sollen.¹

Nicht immer ist die Quelle der Verzerrung (Bias) so offensichtlich: Im US-amerikanischen Gesundheitswesen wurde in der Vergangenheit ein KI-Algorithmus angewendet, um einzuschätzen, welche stationären Patienten zusätzliche Pflege benötigen würden² – und zwar anhand von Trainingsdaten, bei denen die Kosten von Patienten in der Vergangenheit als Surrogatmarker für die Schwere der Erkrankung eingesetzt wurde. So entstand ein Bias, der dazu führte, dass bei afroamerikanischen Patienten seltener zusätzliche Pflege empfohlen wurde – weil diese Patienten in der Vergangenheit geringere Kosten verursacht hatten. Dies lag aber nicht an ihrer geringeren Krankheitsschwere, sondern an ihrem geringeren Zugang zum Gesundheitswesen, also einer bereits zuvor bestehenden systemischen Benachteiligung. 

Die häufig unausgewogene Zusammensetzung von Trainingsdaten wird im englischsprachigen Raum mit dem Akronym WEIRD zusammengefasst: „white, educated, industrialized, rich and democratic countries“ sind überrepräsentiert.

Auch Frauen und Ältere benachteiligt

Und nicht nur die Herkunft zählt: Auch Frauen sind im Bereich der KI nicht fair repräsentiert. So vermuten Forscher etwa, dass Frauen im Bereich der Diagnose von Depressionen überrepräsentiert sind, weil diagnostische Algorithmen unter anderem Verhaltensweisen abfragen, die bei Frauen – unabhängig von einer klinischen Depression – häufiger vorliegen.³ Dagegen zeigte das Institute of Health Informatics des University College London, dass ein KI-Algorithmus zur Diagnose von Lebererkrankungen bei Frauen eine deutlich geringere Trefferquote hatte – er lag bei 44% der Frauen falsch, aber nur bei 23% der Männer.⁴

Und ein weiterer Faktor, der eine Rolle in der Entstehung von Bias spielen kann: das Lebensalter. Hier wurde beispielsweise gezeigt, dass Algorithmen zur Gesichtserkennung in einer älteren Bevölkerung ungenauer arbeiten.⁵ Dies ist besonders kritisch, wenn man berücksichtigt, dass mehr und mehr Robotik in der Altenpflege zum Einsatz kommt, etwa zur Information und Unterhaltung älterer und dementer Menschen, und hier unter anderem an der verbesserten maschinellen Erkennung von Emotionen anhand des Gesichtsausdruckes gearbeitet wird. 

Der Weg zur Behebung dieser Verzerrungen und einer gleichberechtigten Behandlung von Personen in einem digitalisierten Gesundheitswesen muss über diverse, ausgewogene und qualitativ hochwertige Trainingsdatensätze führen. Notwendig hierzu ist auch eine bessere Rechtssicherheit im Bereich der Nutzung von Patientendaten für die Forschung und Entwicklung – etwas, das in Deutschland und Europa in der nächsten Zeit auch regulatorisch angegangen werden wird, etwa mit den Gesetzesvorhaben in der Digitalisierungsstrategie des Bundesgesundheitsministeriums⁶ und dem europäischen Gesundheitsdatenraum⁷. 

Quellen: 

1. Wen et al.: Characteristics of publicly available skin cancer image datasets: a systematic review; The Lancet Digital Health 2021
2. Obermeyer et al.: Dissecting racial bias in an algorithm used to manage the health of populations; Science 2019
3. Cirillo et al.: Sex and gender differences and biases in artificial intelligence for biomedicine and healthcare; NPJ Digital Medicine 2020
4. Straw I, Wu H: Investigating for bias in healthcare algorithms: a sex-stratified analysis of supervised machine learning models in liver disease prediction; BMJ Health & Care Informatics 2020
5. Stypińska J, Franke A: AI revolution in healthcare and medicine and the (re-)emergence of inequalities and disadvantages for ageing population; Frontiers in Sociology 2022
6. Bundesgesundheitsminister legt Digitalisierungsstrategie vor: „Moderne Medizin braucht digitale Hilfe“; Pressemitteilung des Bundesministeriums für Gesundheit, März 2023
7. Europäischer Raum für Gesundheitsdaten (EHDS); Übersicht der Europäischen Kommission

13.06.2023

• Datenmanagement (337)
• Deep Learning (85)
• KI (440)
• Machine Learning (87)