Chirurg mit Datenbrille: Über Augmented Reality können Informationen direkt in das Sichtfeld des Operateurs eingeblendet werden

Bildquelle: DePuy Synthes

Augmented Reality im OP

AR hilft sehen, fühlen und verstehen

Röntgenblick, kontext-sensitive Anleitung, Koordinator, Ausbildungshilfe und mehr: Augmented Reality (AR) für den Einsatz im OP steckt noch in den Kinderschuhen, entwickelt sich aber rasant und zeigt schon jetzt großes Potential.

Bericht: Wolfgang Behrends

portrait of rüdiger eisenhart-rothe
Univ.-Prof. Dr. Rüdiger von Eisenhart-Rothe

Foto: Nicki Schäfer

Im Gespräch erklärt Univ.-Prof. Dr. Rüdiger von Eisenhart-Rothe die Vorzüge verschiedener AR-Anwendungen. Bei der Implementierung der Technik in den OP liefert der Lehrstuhlinhaber für Orthopädie und Sportorthopädie an der medizinischen Fakultät der Technischen Universität München das Feedback aus Medizinerperspektive, damit die technischen Lösungen der Ingenieure auf die praktischen Bedürfnisse des Chirurgen zugeschnitten werden.

In der Ausbildung für die Endoprothetik kommt Virtuelle Realität (VR) schon länger zum Einsatz. Über Datenbrillen – die sogenannten Head Mounted Displays – werden OP-Abläufe simuliert in einer Umgebung, die vollständig im Computer erzeugt wird. Bei der Augmented Reality hingegen verschmelzen Realität und virtuelle Realität: Es werden virtuelle Inhalte im Sichtfeld des Chirurgen eingeblendet und ergänzen die optischen Informationen aus dem realen OP. Der Blick richtet sich nicht mehr auf den Monitor, sondern auf den Patienten.

Die AR ist für die Ausbildung insofern interessant, als eine zusätzliche Dimension ins Spiel kommen kann: „In der VR wird typischerweise kein haptisches Feedback vermittelt. Für den Nutzer wird nicht deutlich, wie es sich anfühlt, wenn beispielsweise eine Säge oder eine Biopsiestanze beim Eingriff auf Widerstand stößt.“ In der augmentierten Realität kann mithilfe von Simulatoren und Motoren eine haptische Rückmeldung bei der Interaktion mit dem Patienten simuliert werden. „Dieser zusätzliche Reiz verbessert den Lerneffekt deutlich“, berichtet der Orthopäde.

Vermittler zwischen Technikern und Chirurgen

Bis zur AR-Lösung für den wirklichen Einsatz im OP ist viel Feinschliff nötig. Die Datenbrillen müssen leicht sein, um auch bei stundenlangen Eingriffen nicht zur Last zu werden. Welche Informationen relevant sind und wo im Blickfeld des Chirurgen sie am besten platziert werden, wird in ausführlichen Testreihen ausgetüftelt. „Allerdings weiß der Ingenieur oft nicht, was der Chirurg für seine OP braucht – und dieser hat seinerseits keine Kenntnisse darüber, was sich technisch umsetzen lässt. Deshalb ist es entscheidend, zwischen diesen beiden Welten zu vermitteln“, beschreibt von Eisenhart-Rothe seinen Aufgabenbereich.

Dieser Artikel könnte Sie auch interessieren

Photo

VR, Augmented Reality und mehr

Vielversprechende Zukunft: Mixed Realities in der Medizin

Anwendungen wie Virtual Reality (VR) und Augmented Reality (AR) kennt man meist aus der Film- und Spielebranche. In jüngster Zeit interessieren sich aber auch immer mehr Kliniker für das medizinische Potenzial. Beim ECR 2019 diskutierten Forscher praktische Anwendungen von VR und AR in der medizinischen Aus- und Weiterbildung, aber auch in der Planung von Eingriffen und deren Visualisierung.

In der orthopädischen Chirurgie, in der Implantate verschiedener Hersteller oft mit speziellem Werkzeug eingebracht und fixiert werden müssen, bietet die AR einen weiteren Vorteil: In der Datenbrille kann bei Bedarf eine detaillierte Operationsanleitung eingeblendet werden oder sogar ein Produktspezialist zugeschaltet werden, der durch eine Kamera in der Brille die Situation sieht und die entsprechenden Schritte bzw. Instrumente virtuell einblenden kann. „Diese Information bekommt auch die OP-Schwester und kann im Vorfeld die passenden Instrumente zurechtlegen“

Mit ‚Röntgenblick‘ zu kleineren Schnitten

Würden die genauen Lokalisationen des Beckens und des Tumors per Datenbrille eingeblendet, ließe sich der Eingriff mit viel kleineren Einschnitten umsetzen

Rüdiger Eisenhart-Rothe

Die tatsächliche Projektion von Bilddaten (CT oder MRT) auf den Körper ist bisher nur experimentell möglich und wird im echten OP-Setting noch nicht eingesetzt. Ein wesentlicher Hemmschuh ist die Rechenleistung, die bei anspruchsvollen Anwendungen die aktuelle Hardware überfordert. „Es kommt natürlich darauf an, was in das Blickfeld des Chirurgen eingeblendet werden soll“, erklärt von Eisenhart-Rothe. Geht es nur darum, Vitalwerte des Patienten oder den Neigungswinkel des aktuell verwendeten Instruments anzuzeigen, ist der Rechenaufwand überschaubar. Ganz anders liegt der Fall, wenn etwa die exakte Lokalisation einer Fraktur aus der CT-Bildgebung live gezeigt werden soll. Hierfür ist eine enorme Rechenleistung erforderlich, denn die komplexen Informationen müssen millimetergenau und in Echtzeit auf den Körper des Patienten angepasst werden. „Das verschafft dem Chirurgen gewissenmaßen den Röntgenblick. Allerdings bewegen wir uns hier noch im Experimentierstadium, denn das exakte Matching ist eine große Herausforderung“, betont der Experte. Neben einem leistungsstarken Computer sind dafür spezielle Marker nötig. Sie werden am Patienten angebracht und machen die Position der Anatomie für das Kameraauge nachvollziehbar, wenn der Patient bewegt wird oder der Operateur den Blickwinkel verändert.

Doch der Aufwand dürfte sich lohnen, so von Eisenhart-Rothe – etwa in der Tumorchirurgie: „Bei Patienten mit Beckentumoren sind oft große Schnitte nötig, um sich genügend Übersicht in der komplexen Anatomie zu verschaffen. Würden die genauen Lokalisationen des Beckens und des Tumors per Datenbrille eingeblendet, ließe sich der Eingriff mit viel kleineren Einschnitten umsetzen.“ Durch die Kombination mit intelligenten Navigationssystemen könnte dieser sogenannte Flurschaden sogar noch weiter reduziert werden.

Der Blick durch die Augen des Chirurgen

Photo
In der Remote-Hospitation kann das Geschehen im OP aus der Perspektive des Chirurgen verfolgt werden. Das verbessert den Lerneffekt.

Bildquelle: DePuy Synthes

Großes Potential für die Technologie sieht der Experte auch bei der sogenannten Remote-Hospitation, die bereits vereinzelt zur Anwendung kommt: Dabei führt der Chirurg einen Eingriff durch, auf den er spezialisiert ist. Die Datenbrille, die er während der Prozedur trägt, lässt weniger erfahrene Kollegen durch dessen Augen beim Eingriff dabei sein. „Gerade in Zeiten von Corona hat das viele Vorteile“, so von Eisenhart-Rothe. Aber auch ohne den Pandemie-Hintergrund können auf diese Weise teure und langwierige Reisen vermieden werden. Außerdem: „Bei minimal-invasiven Eingriffen sind die Schnitte nur wenige Zentimeter groß. Der Kollege in Ausbildung kann kaum etwas sehen, selbst wenn er direkt neben dem Chirurgen steht. Wenn man alle Abläufe stattdessen direkt aus dem Blickwinkel des Operateurs beobachten kann, ist das weitaus anschaulicher“, erklärt von Rothe-Eisenhart. Umgekehrt kann sich auch ein erfahrener Chirurg dazuschalten, um einen komplexen Eingriff mitzuverfolgen und den operierenden Kollegen mit seinen Anmerkungen zu unterstützen.


Profil:

Univ.-Prof. Dr. Rüdiger von Eisenhart-Rothe ist Lehrstuhlinhaber für Orthopädie und Sportorthopädie an der medizinischen Fakultät der Technischen Universität München (TUM) und Klinikdirektor der Klinik für Orthopädie und Sportorthopädie am Klinikum Rechts der Isar. Er ist Vizepräsident der Deutschen Kniegesellschaft, Gründungspräsident der Deutschen Hüftgesellschaft und Präsidiumsmitglied der Deutschen Gesellschaft für Endoprothetik. Von Eisenhart-Rothe ist Herausgeber der Zeitschrift „Der Orthopäde“ und (Co-)Autor von über 300 wissenschaftlichen Publikationen.

03.05.2021

Mehr aktuelle Beiträge lesen

Verwandte Artikel

Photo

Virtuelle Realität

Spielen Sie noch oder behandeln Sie schon?

Forge of Empire, Minecraft oder Dragon’s Prophet – Vorreiter einer besseren Medizin? Computersimulierte Umgebungen, virtuelle Realitäten (VR), in die der Benutzer eintaucht und die auf ihn und…

Photo

Neuro- und Wirbelsäulenchirurgie

Perfektes Zusammenspiel: Roboter, Neuronavigation und VR-Brillen im vernetzten OP-Saal

Neurochirurgen müssen bei ihrer Arbeit oft Kompromisse eingehen, denn die meisten OP-Säle werden bei der Planung nicht auf die speziellen Anforderungen dieser Fachrichtung zugeschnitten. Am…

Photo

Telekonsile gehen in NRW in die Pilotphase

Virtueller Testlauf mit Potenzial

Medizinische Expertise standortunabhängig verfügbar machen – das ist der Grundgedanke des Virtuellen Krankenhauses (VKh) NRW. So kann etwa bei einem komplexen Fall ein Spezialist einbezogen…

Verwandte Produkte

Image Information Systems – iQ-WEB RIS

RIS/PACS

Image Information Systems – iQ-WEB RIS

IMAGE Information Systems Europe GmbH
Nexus/Chili – Telemedicine Record

Portal Solution

Nexus/Chili – Telemedicine Record

Nexus/Chili GmbH
Siemens Healthineers - teamplay myCare Companion

Business Intelligence

Siemens Healthineers - teamplay myCare Companion

Siemens Healthineers
Agfa HealthCare – Dose

Dose Management Systems

Agfa HealthCare – Dose

Agfa HealthCare
Agfa HealthCare – DR 14e detector

DR Retrofit

Agfa HealthCare – DR 14e detector

Agfa HealthCare
Agfa HealthCare – DR 14s detector

DR Retrofit

Agfa HealthCare – DR 14s detector

Agfa HealthCare
Newsletter abonnieren