KI-Chatbots bei psychischen Krisen: Forschende fordern Schutzmaßnahmen

Diese Anwendungen eröffnen neue Möglichkeiten, bergen jedoch zugleich erhebliche Risiken, insbesondere für verletzliche Nutzergruppen. Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden und des Universitätsklinikums Carl Gustav Carus haben nun zwei Fachartikel veröffentlicht, in denen sie eine stärkere regulatorische Aufsicht fordern. Ihre Publikation in der Fachzeitschrift Nature Human Behaviour beschreibt, warum klare Regeln für KI-Charaktere unbedingt erforderlich sind. Ein zweiter Beitrag in npj Digital Medicine warnt vor Chatbots, die ohne medizinische Zulassung therapieähnliche Unterstützung anbieten, und plädiert dafür, solche Systeme als Medizinprodukte einzustufen und zu regulieren. 

Allgemeine LLMs wie ChatGPT oder Gemini sind nicht als therapeutische Anwendungen konzipiert oder zugelassen, können jedoch durch einfache Prompts oder spezifische Einstellungen schnell personalisiert und menschenähnlich reagieren. Diese Form der Interaktion kann sich negativ auf Jugendliche und Menschen mit psychischen Belastungen auswirken. Mittlerweile ist bekannt, dass Nutzer starke emotionale Bindungen zu diesen Systemen aufbauen können. Dennoch sind KI-Charaktere in der EU und in den USA weitgehend unreguliert. Anders als klinische bzw. therapeutische Chatbots, die ausdrücklich für medizinische Zwecke entwickelt, getestet und zugelassen werden. „KI-Charaktere fallen derzeit durch die Lücken der bestehenden Sicherheitsvorschriften“, erklärt Mindy Nunez Duffourc, Assistant Professor of Private Law an der Maastricht University und Mitautorin der ersten Publikation. „Oft werden sie nicht als Produkte eingestuft und entziehen sich daher Sicherheitsprüfungen. Und selbst dort, wo sie neu als Produkte reguliert sind, fehlen bislang klare Standards und eine wirksame Aufsicht.“ 

In den vergangenen Monaten wurde international über Fälle berichtet, in denen Jugendliche nach intensivem Austausch mit KI-Chatbots in psychische Krisen geraten sind. Die Forschenden sehen einen dringenden Handlungsbedarf: Systeme, die menschliches Verhalten imitieren, müssen klar definierten Sicherheitsanforderungen entsprechen und innerhalb verlässlicher rechtlicher Rahmen agieren. Aktuell gelangen KI-Charaktere jedoch auf den Markt, ohne zuvor eine regulatorische Prüfung zu durchlaufen. 

In ihrer zweiten Publikation in npj Digital Medicine machen die Autoren auf die wachsende Zahl von Chatbots aufmerksam, die therapieähnliche Ratschläge geben oder sogar lizenzierte medizinische Fachkräfte imitieren – ohne jegliche Zulassung. Sie argumentieren, dass LLMs mit solchen Funktionen als Medizinprodukte eingestuft werden sollten, mit klaren Sicherheitsstandards, transparentem Systemverhalten und kontinuierlicher Überwachung. „KI-Charaktere sind bereits Teil des Alltags vieler Menschen. Oft vermitteln diese Chatbots den Eindruck, ärztliche oder therapeutische Ratschläge zu geben. Wir müssen sicherstellen, dass KI-basierte Software sicher ist. Sie soll unterstützen und helfen, nicht schaden. Dafür braucht es klare technische, rechtliche und ethische Regeln“, sagt Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden. 

Das Forschungsteam betont, dass die Transparenzanforderung des europäischen AI Act – also die Pflicht offenzulegen, dass es sich um Kommunikation mit einer KI handelt – nicht ausreicht, um gefährdete Gruppen zu schützen. Das Team fordert verbindliche Sicherheits- und Überwachungsstandards, ergänzt durch freiwillige Leitlinien, die Entwicklern dabei helfen, ihre Systeme sicher zu gestalten. 

Als konkrete Maßnahme schlagen die Autoren vor, zukünftige KI-Anwendungen mit einer Chat-Speicherfunktion auszustatten und mit einer „Guardian Angel AI“ oder „Good Samaritan AI“ zu verknüpfen – eine unabhängige, unterstützende KI-Instanz, die den Gesprächsverlauf überwacht und bei Bedarf eingreift. Ein solches zusätzliches System könnte frühe Warnsignale erkennen, Nutzer auf Hilfsangebote hinweisen oder vor riskanten Gesprächsmustern warnen. 

Neben solchen Schutzmechanismen empfehlen die Forschenden robuste Altersprüfung, altersgerechte Sicherheitsmaßnahmen und verpflichtende Risikobewertungen vor Markteintritt. Sie betonen, dass LLMs klar kommunizieren sollten, dass sie keine zugelassenen Medizinprodukte im Bereich mentaler Gesundheit sind. Chatbots dürfen nicht als Therapeuten auftreten und sollten sich auf allgemeine, nicht-medizinische Informationen beschränken. Zudem sollten sie erkennen, wann professionelle Hilfe notwendig ist, und Nutzende an geeignete Unterstützungsangebote weiterleiten. Einfache, frei zugängliche Tests könnten helfen, die Sicherheit von Chatbots fortlaufend zu überprüfen. 

„Als Ärzte wissen wir, wie stark menschliche Sprache das Erleben und die psychische Gesundheit beeinflusst“, sagt Falk Gerrik Verhees, Psychiater am Dresdner Universitätsklinikum Carl Gustav Carus. „KI-Charaktere nutzen dieselbe Sprache, um Vertrauen und Nähe zu simulieren – deshalb ist Regulierung essenziell. Wir müssen sicherstellen, dass diese Technologien sicher sind und das psychische Wohlbefinden der Nutzer schützen, anstatt es zu gefährden“, fügt er hinzu. 

„Die von uns vorgestellten Leitplanken sind entscheidend, damit KI-Anwendungen auch wirklich sicher und im Sinne der Menschen eingesetzt werden“, sagt Max Ostermann, Forscher im Team für Medical Device Regulatory Science von Prof. Gilbert und Erstautor der Publikation in npj Digital Medicine. 

Hinweis:
Wenn Sie selbst oder jemand in Ihrem Umfeld sich in einer Krise befindet, finden Sie Tag und Nacht Hilfe bei der TelefonSeelsorge unter 116 123 sowie online unter www.telefonseelsorge.de.

Quelle: Technische Universität Dresden 

07.12.2025

• Gesetze & Regulierungen (286)
• KI (534)
• Psychische Gesundheit (57)