Oben rechts: Ein virtueller Avatar führt eine Ultraschallsonde über den Arm...
Ausschnitte aus dem Versuchsaufbau: Ein virtueller Avatar begleitet den Patienten. Er kann dabei die Untersuchung erklären und Fragen der Patienten in beliebigen Sprachen beantworten. Währenddessen übernimmt das autonome Robotersystem die eigentliche Untersuchung.

Bildquelle: Song T, Pabst F, Eck U, Navab N; IEEE Transactions on Visualization and Computer Graphics 2025 (CC BY 4.0); Bearbeitung: HiE/WB 

News • Autonome Bildgebungssysteme

Virtuelle Avatare schaffen Vertrauen in Ultraschall-Roboter

Patienten fassen mehr Vertrauen in autonome robotische Ultraschallsysteme, wenn sie von einem Avatar angeleitet werden.

Das hat Prof. Nassir Navab von der Technischen Universität München (TUM) herausgefunden. Der virtuelle Agent erläutert, was er tut, beantwortet Fragen und kann in beliebigen Sprachen sprechen. Zum Einsatz kommen sollen derartige Systeme besonders in Regionen, in denen es an Ärzten mangelt. 

Das Forschungsteam um Prof. Navab stellt das System im Fachjournal IEEE Transactions on Visualization and Computer Graphics vor

Portraitfoto von Prof. Nassir Navab
Prof. Nassir Navab

Bildquelle: TUM; Foto: Andreas Heddergott 

Ein großer Bildschirm, eine Virtual-Reality-Brille, ein Roboterarm mit Ultraschallkopf und ein leistungsfähiger Rechner: Das ist die Ausstattung, die TUM-Forscher Tianyu Song aus dem Lehrstuhl für Informatikanwendungen in der Medizin für die autonome Untersuchung der Aorta, der Halsschlagader oder der Arterie im Unterarm benötigt. Damit Patienten Vertrauen in das autonome technische System fassen, haben Forschende nun eine virtuelle Umgebung geschaffen. Darin übernimmt ein Avatar die Aufgabe, durch die Untersuchung zu führen. Nachdem die Patienten eine VR-Brille aufsetzen, erscheint er vor ihren Augen, übernimmt die Gesprächsführung und beantwortet Fragen. „Das macht den ganzen Prozess menschlicher und freundlicher“, sagt der Leiter des Lehrstuhls Prof. Nassir Navab, „und es reduziert nachweislich den Stress bei Nutzern von autonomen Systemen.“ 

Um das herauszukriegen, verglichen die Forschenden den Stresspegel von 14 jungen wie älteren, weiblichen wie männlichen Personen miteinander. Drei der vier Szenarien sind mehr oder weniger virtuell unterstützt. Einmal kommt ein Avatar in realem Umfeld zum Einsatz, einmal in einem virtuellen Umfeld, in dem reale Elemente eingeblendet werden und einmal in einer durchweg virtuellen Umgebung. Verglichen wurden sie mit einer Avatar-freien, rein realen Variante. Die Forschenden verkabelten die Probanden mit Sensoren für ein Elektrokardiogramm (EKG) und leiteten daraus die Herzfrequenzvariabilität ab. „Je mehr dieser Wert während der Behandlung absinkt, umso höher ist der Stresslevel des jeweiligen Behandelten“, erläutert Forscher Song. Das Ergebnis: Alle drei virtuell unterstützen Szenarien erwiesen sich als eindeutig stressärmer als die nicht-virtuelle Behandlung. 

Dieser Artikel könnte Sie auch interessieren

Auf die Frage, welchem der drei virtuell unterstützten Szenarien sie am meisten vertrauten und welches sich am besten anfühlte, setzte sich der Avatar in realem Umfeld durch. „Deshalb setzen wir ihn nun auch für Vorführungen ein“, sagt Professor Navab, dessen Forschungen die Bayerische Forschungsstiftung im Rahmen des Forschungsprojektes ForNeRo (kurz für Forschungsverbund – Nahtlose und ergonomische Integration der Robotik in den klinischen Arbeitsablauf) unterstützt. 

Der Hauptgrund für den verringerten Stress der Behandelten ist der Avatar, der in den Demonstrationen des Lehrstuhls meist eine weibliche Stimme hat und durch die Untersuchung führt. Er hält den Ultraschallkopf in der Hand und führt ihn zum Arm. Zudem spricht er mit dem Patienten. Damit dies möglich wird, wandelt eine Software die Fragen des Behandelten in Text um, ehe ein Large Language Model auf Basis von vorformulierten Anweisungen geeignete Antworten findet, die dann wiederum in gesprochene Worte umgewandelt werden. 

Forscher Tianyu Song aus dem Lehrstuhl für Informatikanwendungen in der...
Forscher Tianyu Song aus dem Lehrstuhl für Informatikanwendungen in der Medizin & Augmented Reality der Technischen Universität München bereitet eine autonome Ultraschalluntersuchung vor, die von einem Avatar begleitet wird.

Bildquelle: TUM; Foto: Andreas Heddergott

„Ein wichtiger Vertrauen schaffender Faktor ist nicht zuletzt, dass der Avatar nicht nur verschiedene Sprachen spricht, sondern auch regionale Akzente“, sagt Forscher Song. So kann das Sprachmodell zum Beispiel mit österreichischem Akzent sprechen oder aber Deutsch mit amerikanischem Akzent. Der Avatar kann zusätzlich nonverbal kommunizieren. Er gestikuliert, legt kurzen Pausen in den Sätzen ein und wendet sich Patienten zu, wenn sie sprechen. 


Quelle: Technische Universität München 

10.09.2025

Verwandte Artikel

Photo

News • Erfassung von PROMs

Patienten befragen per KI statt mit Fragebogen

Nach einer ärztlichen Behandlung füllen viele Patienten den Fragebogen zur Bewertung der Gesundheit nicht oder nicht richtig aus. KI-gestützte Avatare und Roboter könnten die Erfassung verbessern.

Photo

News • Entlastung im medizinischen Alltag

KI und Robotik unterstützen bei der Ultraschall-Diagnostik

Robotische Ultraschallsysteme können Routineuntersuchungen autonom übernehmen und Ärzte im OP unterstützen. Neue Forschung zeigt: Die Systeme können Mediziner im Alltag sinnvoll entlasten.

Photo

News • Einfluss auf Interaktionsarbeit untersucht

Smart Glasses im Gesundheitswesen: Darauf kommt es an

VR und erweiterte Realität sind auch im klinischen Bereich im Kommen, insbesondere in der Krankenpflege. Doch wie wirken sich Smart Glasses auf die Interaktion mit Patienten aus?

Verwandte Produkte

Newsletter abonnieren