News • Studie zu LLM und Patientendaten
KI-Sprachmodelle für die Radiologie auf dem Prüfstand
In Krankenhäusern sind Künstliche Intelligenz (KI) und vor allem Large Language Models (kurz LLMs), welche auch die Grundlage für ChatGPT darstellen, immer mehr gefragt. Der Schutz der Patientendaten muss dabei aber immer gegeben sein.
Forschende des Universitätsklinikums Bonn (UKB) und der Universität Bonn konnten jetzt zeigen, dass lokale LLMs, bei deren datenschutzsicheren Verwendung alle Daten innerhalb der Klinik verbleiben, dabei helfen können radiologische Befunde zu strukturieren. Dazu haben sie verschiedene LLMs auf öffentlichen Befunden ohne Datenschutz und auf datengeschützten Befunden verglichen. Kommerzielle Modelle mit Datenübertrag auf externe Server zeigen dabei keinen Vorteil zu datenschutzkonformen Modellen. Die Ergebnisse sind jetzt im Fachjournal „Radiology“ erschienen.
Bei einem Training mit über 3.500 strukturierten Befunden gab es keinen relevanten Unterschied mehr zwischen dem größten offenen LLM und einem 1.200-Mal kleineren Sprachmodell
Sebastian Nowak
Ordnung muss sein. Nicht nur auf dem OP-Tisch oder im Büro, sondern auch bei Daten. Strukturierte Befunde sind beispielsweise sowohl für Ärzte hilfreich als auch für die weitere Verwendung in Datenbanken für die Forschung. Später können solche strukturierten Daten auch zum Training von weiteren KI Modellen zur bildbasierten Diagnose genutzt werden. In der Praxis werden Befunde allerdings meist in Freitextform verfasst, das verkompliziert die Weiterverwendung. Genau hier setzt die Anwendung von KI, genauer LLMs, an.
LLMs kann man in zwei Kategorien unterscheiden: Die geschlossenen Modelle sind die kommerziellen, bekannten KI-Varianten, die unter anderem auch bei Chatbots wie Chat-GPT und Co. eingesetzt werden. Offene Modelle, wie die Llama-Modelle von Meta sind eine Option, die auf klinikintern Servern ausgeführt und sogar weiter trainiert werden können. Dabei bleiben alle Daten lokal gespeichert, was die lokale Verwendung offener LLMs in Bezug auf Datensicherheit vorteilhaft macht. „Das Problem bei den kommerziellen, geschlossenen Modellen ist, dass man, um diese zu nutzen, die Daten auf externe Server übertragen muss, welche sich häufig sogar außerhalb der EU befinden. So etwas ist mit Patientendaten nicht zu empfehlen“, betont Prof. Julian Luetkens, kommissarischer Direktor der Klinik für Diagnostische und Interventionelle Radiologie am UKB.
Bildquelle: Universitätsklinikum Bonn (UKB) / Rolf Müller
„Aber sind alle LLMs gleich gut geeignet den medizinischen Inhalt radiologischer Befunde zu verstehen und zu strukturieren? Um herauszufinden, welches LLM für eine Klinik geeignet ist, haben wir verschiedene offene und geschlossene Modelle getestet“, erläutert Dr. Sebastian Nowak, Erst- und Korrespondenzautor der Studie und Postdoc der Universität Bonn an der Klinik für Diagnostische und Interventionelle Radiologie des UKB. „Zusätzlich hat uns interessiert, ob man mit wenigen bereits strukturierten Befunden offene LLMs effektiv vor Ort in der Klinik weiterentwickeln kann.“
Das Forschungsteam führte daher eine Analyse von 17 offenen und vier geschlossenen Sprachmodellen durch. Alle sollten tausende Röntgenberichte in Freitextform analysieren. Für die Auswertung wurden sowohl öffentliche radiologische Befunde in englischer Sprache und ohne Datenschutz, als auch datengeschützte Befunde aus dem UKB in deutscher Sprache genutzt.
Die Ergebnisse zeigen, dass im Fall der Befunde ohne Datenschutz die geschlossenen Modelle keine Vorteile gegenüber manchen offenen LLMs aufweisen. Bei der direkten Anwendung ohne Training waren große, offene LLMs besser als kleine, offene LLMs. Die Verwendung bereits strukturierter Befunde als Trainingsdaten für offene LLMs führte zu einer effektiven Verbesserung der Qualität in der Informationsverarbeitung, schon mit wenigen manuell vorbereiteten Berichten. Durch das Training verringerte sich zudem der Unterschied zwischen großen und kleinen LLMs.
„Bei einem Training mit über 3.500 strukturierten Befunden gab es keinen relevanten Unterschied mehr zwischen dem größten offenen LLM und einem 1.200-Mal kleineren Sprachmodell.“, so Nowak. „Insgesamt lässt sich folgern, dass offene LLMs mit geschlossenen mithalten können und den Vorteil aufweisen, lokal und datenschutzsicher weiterentwickelt werden zu können.“
Diese Entdeckung birgt das Potenzial, den reichen Datenschatz klinischer Datenbanken für umfassende epidemiologische Studien und zur Forschung über krankheitsvorhersagende KI nutzbar zu machen. „Letztendlich kommt das dem Patienten zugute, all dies sogar unter strenger Beachtung des Datenschutzes“, erklärt Nowak. „Wir wollen anderen Kliniken ermöglichen, unsere Forschung direkt zu nutzen, und haben deshalb den Programmcode und die Methoden zur Nutzung und zum Training unter offener Lizenz veröffentlicht.“
Quelle: Universitätsklinikum Bonn
16.01.2025
