Die TU Graz verbessert die Bildverarbeitung mit Hilfe von Learning: Hier wird gezeigt, wie der Algorithmus die Bilder verändert damit er sie "schöner" findet.

Quelle: Pock – TU Graz/ICG

Bildverarbeitung

Maschinelles Sehen: der neue Stand der Technik

Mit dem Vorbild der Sehrinde im menschlichen Gehirn, dem sog. visuellen Cortex, entwickelte die Forschungsgruppe rund um ERC-Preisträger Thomas Pock neue mathematische Modelle und Algorithmen als Grundlage für schnellere und intelligentere Bildverarbeitungsprogramme.

Unser visueller Cortex kann in Sekundenbruchteilen Bilder erfassen und Objekte erkennen, selbst wenn diese kaum oder nur bruchstückhaft zu sehen sind. Mit ein Grund für diese fantastische Höchstleistung ist die hocheffiziente hierarchische Schichtenarchitektur des visuellen Cortex. Sie filtert die visuellen Informationen, erkennt Zusammenhänge und vervollständigt das Bild anhand vertrauter Muster. Der Prozess dahinter wird in seiner Komplexität nach wie vor kaum verstanden. Zwar existieren mittlerweile Deep Learning-Algorithmen, die bei  gewissen Mustererkennungsaufgaben die menschliche Leistungsfähigkeit erreichen können oder teilweise sogar übertreffen. Ein Nachteil dieser Algorithmen ist aber, dass man kaum nachvollziehen kann was sie gelernt haben, wie sie funktionieren oder wann sie Fehler machen.

Diesem Verständnis war Thomas Pock vom Institut für Maschinelles Sehen und Darstellen der TU Graz im Rahmen seines ERC-Starting-Grant-Projekts HOMOVIS (High Level Prior Models for Computer Vision) auf der Spur. Er beschäftigte sich intensiv mit der Frage, wie sich bekannte Arbeitsweisen des visuellen Cortex mithilfe mathematischer Modelle berechnen und auf Bildverarbeitungsanwendungen übertragen lassen. Fünf Forschungsjahre, 41 Publikationen und ein Patent später haben der Forscher und seine Arbeitsgruppe umfassendes Wissen gesammelt, das neue Bildverarbeitungsalgorithmen für verschiedenste Anwendungen ermöglicht.

Anregungen bei Wertheimer und Euler

Pock orientierte sich in seiner Arbeit an den Gestaltgesetzen der Wahrnehmung von Max Wertheimer. Der Hauptbegründer der Gestaltpsychologie hat mit diesen Gesetzen den Prozess des menschlichen Sehens zu erklären versucht, bei dem Reize und Sinneseindrücke zu einem großen Ganzen zusammensetzt werden. „Der Mensch kann schon anhand einzelner Punkte oder subjektiver Konturen (Scheinkonturen) lückenhafte bzw. unvollständige Objekte korrekt erkennen. Das menschliche Gehirn ergänzt die fehlende Bildinformation automatisch. Beispielsweise, indem es die Punkte über möglichst glatte Kurven miteinander verbindet“, so Pock. Dieses Phänomen der Gestaltfindung haben Pock und sein Team erstmals mithilfe mathematischer Modelle beschrieben, die auf Euler’s Elastica beruhen – einer berühmten Gleichung des Mathematikers Leonhard Euler, mit der Kurven minimalster Krümmung berechnet werden können.

Das Porträt von Albert Einstein wurde mithilfe des „Elastica Modells“ aus...
Das Porträt von Albert Einstein wurde mithilfe des „Elastica Modells“ aus unvollständigen Daten rekonstruiert.
(Anm.: Die technischen Bildfehler wurden zu Testzwecken von Pock selbst verursacht. Das Originalbild ist fehlerfrei.)

Foto: Ferdinand Schmutzer, 1921. © Creative Commons Public Domain

Darstellung in einem höherdimensionalen Raum

Auf Basis von Euler’s Elastica entwickelte Pocks Arbeitsgruppe neue Algorithmen, mit denen bestimmte krümmungsabhängige Bildverarbeitungsprobleme gelöst werden können. Die Lösung ist demzufolge umso leichter, wenn die (2D-)Bilder und deren Merkmale als Datenpunkte in einem dreidimensionalen Raum dargestellt werden. „In der dritten Dimension bekommen wir mit der Orientierung der Objektkanten eine zusätzliche Variable, erklärt Pock. Auch das ist dem menschlichen Sehen nachempfunden und geht zurück auf die bahnbrechenden Arbeiten der beiden Nobelpreisträger David Hubel und Torsten Wiesel, die 1959 feststellten, dass der visuelle Cortex aus orientierungssensitiven Schichten aufgebaut ist.

Aus mathematischer und informatischer Sicht liegt der größte Vorteil dieser dreidimensionalen Einbettung darin, dass Bildverarbeitungsprobleme mit Hilfe konvexer Optimierungsalgorithmen gelöst werden können. In der mathematischen Optimierung gilt die Grenze zwischen konvexer und nicht-konvexer Optimierung als jene große Barriere, die lösbare von nicht lösbaren Problemen unterscheidet. „Somit können wir für alle gegebenen Eingangsbilder garantiert das beste Bild berechnen – natürlich nur in Bezug auf das verwendete mathematische Modell“, so Pock.

Ausblick

Nun arbeiten Pock und sein Team an verbesserten Modellen, die die bekannten strukturellen Eigenschaften des visuellen Cortex mit Deep-Learning-Algorithmen kombinieren. Das Ziel: Die Entwicklung von Modellen, die genauso gut funktionieren wie derzeitige Deep-Learning-Algorithmen, aber auch ein tieferes Verständnis über die gelernten Strukturen erlauben. Erste Erfolge gibt es bereits bei der Rekonstruktion von Computertomographien und Magnetresonanzbildern. „Mit den neu entwickelten Algorithmen lassen sich nun trotz weniger aufgenommener Daten Bilder mit höchster Qualität rekonstruieren. Das spart Zeit und Rechenleistung und somit auch Kosten“, erklärt Pock.

Quelle: TU Graz

01.06.2021

Mehr aktuelle Beiträge lesen

Verwandte Artikel

Photo

Anwendungsbeispiele, Szenarien und Erfolgsfaktoren

Erfolgreicher Einsatz medizinischer KI

Künstliche Intelligenz (KI) ist inzwischen routinefähig, so das Statement von Dr. Cord Spreckelsen, Professor am Institut für Medizinische Statistik, Informatik und Datenwissenschaften am…

Photo

Künstliche Intelligenz

KI-Anwendungen in der Medizin sicherer machen

Die Hochschule Landshut startet Forschungsprojekt mit dem Münchner KI-Unternehmen deepc, um die Sicherheitsstandards bei der Anwendung von Künstlicher Intelligenz in der medizinischen Bildgebung zu…

Photo

Augmented Reality im OP

AR hilft sehen, fühlen und verstehen

Röntgenblick, kontext-sensitive Anleitung, Koordinator, Ausbildungshilfe und mehr: Augmented Reality (AR) für den Einsatz im OP steckt noch in den Kinderschuhen, entwickelt sich aber rasant und…

Verwandte Produkte

Agfa HealthCare – Dose

Dose Management Systems

Agfa HealthCare – Dose

Agfa HealthCare
Agfa HealthCare – DR 14e detector

DR Retrofit

Agfa HealthCare – DR 14e detector

Agfa HealthCare
Agfa HealthCare – DR 14s detector

DR Retrofit

Agfa HealthCare – DR 14s detector

Agfa HealthCare
Agfa HealthCare – DR 17e detector

DR Retrofit

Agfa HealthCare – DR 17e detector

Agfa HealthCare
Newsletter abonnieren