Bildquelle: Adobe Stock/Sutthiphong

News • KI-Experte zu Risiken und Chancen

ChatGPT & Co.: Wie lassen sich LLMs im Gesundheitswesen regulieren?

Auf Large Language Models (LLM)-basierte generative Chat-Tools wie ChatGPT oder MedPaLM von Google haben großes medizinisches Potenzial, ihre unregulierte Verwendung im Gesundheitswesen birgt jedoch inhärente Risiken.

In einem jetzt in Nature Medicine veröffentlichten Beitrag befassen sich Forscher um Prof. Stephen Gilbert mit einem der drängendsten internationalen Probleme unserer Zeit: Wie lassen sich LLMs im Allgemeinen und im Gesundheitsbereich im Besonderen regulieren? 

portrait of stephen gilbert
Prof. Stephen Gilbert

© EKFZ

Große Sprachmodelle sind neuronale Netzwerke mit bemerkenswerten Konversationsfähigkeiten. Sie erzeugen menschenähnliche Reaktionen und führen interaktive Gespräche. Allerdings generieren sie oft äußerst überzeugende Aussagen, die nachweislich falsch sind oder unangemessene Antworten liefern. Heutzutage ist es nicht möglich die Qualität, Stichhaltigkeit oder Zuverlässigkeit der gegebenen Antworten zu überprüfen. „Diese Chatbots sind unsichere Werkzeuge, wenn es um medizinische Beratung geht und es ist notwendig, neue Rahmenbedingungen zu entwickeln, die die Patientensicherheit gewährleisten“, sagte Prof. Gilbert, Professor für Medical Device Regulatory Science am Else Kröner Fresenius Zentrum für Digitale Gesundheit an der TU Dresden. 

Die meisten Menschen informieren sich online über ihre Symptome, bevor sie ärztlichen Rat einholen. Suchmaschinen spielen im Entscheidungsprozess eine wichtige Rolle. Die bevorstehende Integration von LLM-Chatbots in Suchmaschinen könnte das Vertrauen der Benutzer in die Antworten eines Chatbots, der menschliche Konversationen nachahmt, erhöhen. Es hat sich jedoch gezeigt, dass LLMs äußerst gefährliche Informationen liefern können, wenn sie mit medizinischen Fragen konfrontiert werden. Der zugrundeliegende Ansatz von LLM enthält kein Modell einer medizinischen „Grundwahrheit“, was gefährlich ist. Ground Truth ist eine Prozessmethode, die sicherstellt, dass die der Analyse zu Grunde gelegten Daten aktuell, präzise, vollständig und bestens gepflegt sind.

Aktuelle LLM-Chatbots erfüllen nicht die wichtigsten Prinzipien für KI im Gesundheitswesen, wie Voreingenommenheitskontrolle, Erklärbarkeit, Aufsichtssysteme, Validierung und Transparenz

Stephen Gilbert

LLMs mit Chat-Schnittstelle haben schon schädigende medizinische Antworten erzeugt und wurden bereits in Versuchen an Patienten, ohne deren Einverständnis, eingesetzt. Nahezu jeder medizinische LLM-Anwendungsfall erfordert in der EU und den USA eine behördliche Kontrolle. LLMs mit nachvollziehbaren Ergebnissen, geringer Verzerrung, vorhersagbar, korrekt und mit überprüfbaren Ergebnissen gibt es derzeit nicht. Im neuen Nature-Medicine-Artikel beschreiben die Autoren die begrenzten Szenarien, in denen LLMs unter den aktuellen Rahmenbedingungen Anwendung finden könnten. Sie beschreiben, wie LLM-basierte Tools entwickelt werden können, die als medizinische Geräte zugelassen werden könnten, und sie untersuchen die Entwicklung neuer Rahmenbedingungen für die Sicherheit der Patienten. „Aktuelle LLM-Chatbots erfüllen nicht die wichtigsten Prinzipien für KI im Gesundheitswesen, wie Voreingenommenheitskontrolle, Erklärbarkeit, Aufsichtssysteme, Validierung und Transparenz. Um sich ihren Platz im medizinischen Repertoire zu verdienen, müssen Chatbots für eine höhere Genauigkeit konzipiert werden, wobei Sicherheit und klinische Wirksamkeit nachgewiesen und von den Aufsichtsbehörden genehmigt werden müssen“, schließt Prof. Gilbert. 


Quelle: Technische Universität Dresden

03.07.2023

Mehr aktuelle Beiträge lesen

Verwandte Artikel

Photo

News • Verband kritisiert undifferenzierte Regulierung

ZVEI: "Hochrisiko"-Einstufung von KI hemmt Innovation

Künstliche Intelligenz (KI) ist ein wesentlicher Treiber für die Zukunfts- und Innovationsfähigkeit der Unternehmen in Deutschland und Europa. Deshalb unterstützt der Zentralverband…

Photo

News • TV-Serie blickt auf Zukunft der Medizin

Charité 2049: Von der Fiktion zur Wirklichkeit

Klimawandel, Kostendruck, KI: In Staffel 4 zeigt die ARD-Serie "Charité" die Medizin im Jahr 2049. Dazu wirft auch der Vorstandsvorsitzende der (echten) Charité einen Blick in die Zukunft.

Photo

News • Präsentation der Physikalisch-Technischen Bundesanstalt

KI als Qualitätschecker und im MRT: neue Entwicklungen vorgestellt

Wie kommt KI in die medizinische Anwendung? Auf der Hannover Messe stellen Forschende zwei Ansätze vor: Einen Qualitätsbewerter für KI-Algorithmen und ein mobiles MRT – ebenfalls mit KI an Bord.

Verwandte Produkte

Newsletter abonnieren