B1 – Intraoperative Navigation von multimodalen Sensoren

Die domänenübergreifende Modellierung von Gewebe- und Sensoreigenschaften ist eine zentrale Aufgabe und stellt die Schnittstelle zwischen den Schwerpunktgebieten „Sensorik“ und „Klassifikation“ dar, in welchem die Sensorinformationen zusammengeführt werden. Als Grundlage zur Gewebedifferenzierung wird vorausgesetzt, dass unterschiedliche Gewebezustände (z. B. benigne und maligne) unterschiedliche Eigenschaften haben, die sich wiederum durch domänenspezifische Gewebeparameter quantifizieren lassen. Um den Informationsgehalt mehrerer Sensorkanäle zu nutzen, muss das reine Sensorsignal mit einer konsistenten örtlichen Information versehen werden. Somit ist die Aggregation dieser Daten von zentraler Bedeutung für die folgenden Schritte. Um die Vision einer Gewebedifferenzierung in der Größenordnung einiger Millimeter zu erreichen, ist die intraoperative Kenntnis der örtlichen Position und Orientierung der multimodalen Sensoren in entsprechender Genauigkeit unabdingbar. Dazu werden inertiale Messeinheiten (IMU, engl. für ineartial measurement unit) auf den Instrumenten platziert und zusammen mit den intraoperativen Kamerabildern ausgewertet.

Die Rekonstruktion der Instrumentenposition und deren Orientierung und Einbettung in eine globale Karte zur intraoperativen Navigation stellt dabei eine eigenständige wissenschaftliche Fragestellung dar. Dazu wird ein parametrierbares, dreidimensionales Geometriemodell der in den klinischen Fallstudien betrachteten Organe (Blase bzw. Ovarial in Kooperation mit C1 & C2) erstellt. Dieses fungiert somit nicht nur als intraoperative patientenspezifische Karte, sondern ermöglicht auch die Einbeziehung von prä und postoperativen Daten. Die Informationen über die Ausrichtung der Sensoren als auch der Gewebedifferenzierung wird dem Chirug über eine Augmented Reality angezeigt. Darüber hinaus kann die Interpretierbarkeit der Ergebnisse über die Rekonstruktion von örtlich verteilten Gewebeparametern aus den Sensorsignalen maximiert werden, indem die datengetriebenen Verfahren aus Projekt B3 durch vorhandenes, lokales Modellverständnis gestützt werden

Zentrale Aufgaben

• Intraoperative Navigation: Schätzung von Position und Orientierung beteiligter Instrumente zueinander derer zum Zielgewebe
• Lokale, multiphysikalische Gewebemodellierung: Modellgestützte Verarbeitung von präoperativen, intraoperativen und postoperativ Rohsignalen   

Methodiken und Lösungsansätze

• Modellierung des örtlich verteilten Gewebemodells über kontinuumsmechanische Bilanzrelationen
• Diskretisierung über finite Elemente Methode, Analyse der Kopplungsstruktur und Ordnungsreduktion
• Lösung von dynamischen Optimierungsproblem in Echtzeit und Bilddatenregression zur intraoperativen Adaption der Geometrieparameter
• Kamerabasierte online-Adaption durch verarbeitete, intraoperative Kamerabild-Daten
• Fusion der Kameradaten mit Accelerometer-, Gyroskop- und Magnetometer-Daten (IMU): Lösung einer iteratives Optimierungsproblem mit dynamischen Nebenbedingungen
• Ableiten optimaler Sensorkombinationen, die eine Maximierung der Rekonstruktionsgüte erlauben