Augmented Reality in der Chirurgie

Die Arbeit von Staffan Ronnas in der Münchner Firma Brainlab befasst sich mit der Anwendung von Augmented Reality (AR) in der Chirurgie - vor allem in der Neurochirurgie. Ziel ist es, virtuelle, präoperativen Daten mit der "Realität" in Form von live Video auf dem chirurgischen Mikroskop so zu verblenden, dass der Chirurg vor und während der OP einen Nutzen davon hat. Staffan stammt aus Schweden und hat in Karlsruhe in Mathematik in der Arbeitsgruppe promoviert in der auch Gudrun Thäter und Sebastian Ritterbusch tätig waren. Nach seiner Verteidigung 2012 hat er einige Zeit als Postdoc in Karlsruhe und Heidelberg gearbeitet, bevor er zur Firma COMSOL in Stockholm ging. Seit September 2015 wohnt er in München und bringt seine Fähigkeiten als Softwareingenieur bei Brainlab ein. Welche Rolle spielt denn AR zur Zeit in der Chirurgie? Digitale Daten sind schon weit verbreitet in der Medizintechnik und insbesondere in der Chirurgie. Dabei handelt es sich z.B. um CT- oder MR-Bilder, aus denen man virtuelle Objekte durch Segmentierung gewinnen kann. Diese Daten können vor oder während der Behandlung (prä-/intraoperativ) entstehen und werden zur Planung der OP oder zur Navigation während des Eingriffs verwendet. Zum größten Teil werden sie klassisch auf Bildschirmen dargestellt und zur Interaktion dienen eine Maus oder ein Touchscreen oder auch Instrumente, die über Infrarotkameras getracked werden. Speziell in der Neurochirurgie kommen große Mikroskope zum Einsatz, die auch Video aufnehmen können. Das Ziel von Staffans Arbeit ist dabei präoperative virtuelle Daten mit Videodaten zu verblenden um eine erweiterte Darstellung zu zeigen, mit der der Chirurg während der OP navigieren kann. Zu dieser Zweck werden nützliche Informationen wie die aktuelle Position, das Zielobjekt und dazwischen liegende Strukturen im Video dargestellt. Um ein solches System umsetzen zu können, werden Methoden aus vielen verschiedenen Bereichen der angewandten Mathematik benötigt, wie z.B. Bildbehandlung, geometrische Modellierung, 3D Grafik und Computer Vision. Themen wie maschinelles Lernen und Robotik spielen auch eine zunehmend wichtige Rolle. Eine grundlegende Fragestellung mit der sich Staffan viel beschäftigt hat, ist die Modellierung der Optik chirurgischer Mikroskope mit variablem Fokus und Zoom. Ein genaues Modell wird benötigt, um die Lage und Größe der virtuellen Daten bei der Verblendung mit dem Videobild bestimmen zu können. Als grundlegendes Kameramodell dient das Pinholemodell, d.h. eine perspektivische Projektion von Punkten gemessen in einem 3D Koordinatensystem auf die planare Bildebene. Extrinsische Parameter sind dabei die Lage und Orientierung der Kamera im Raum (die Richtung der "optische Achse"). Die intrinsischen Parameter sind abhängig von der Optik z.B. die Brennweite (Skalierung von mm auf pixel-Maß) und verschiedene Arten von Verzerrung. (...)