Intraoperative navigation of instruments and sensors to the target tissue.

B1 – Intraoperative Navigation von multimodalen Sensoren

Forschungsschwerpunkt B: Modellierung & Klassifikation

Um den Informationsgehalt mehrerer Sensorkanäle zu nutzen, muss das reine Sensorsignal mit einer konsistenten örtlichen Information versehen werden. Dabei soll die Postion und Geometrie aus den Kamerabilddaten berechnet werden. Dafür wird im Projekt ein modellbasierter SLAM-Algorithmus (engl. für Simultaneous Localization and Mapping) für defromierbare Systeme entwickelt.

Modellierung von Gewebe- und Sensoreigenschaften und intraoperative Navigation der multimodalen Sensoren

Die domänenübergreifende Modellierung von Gewebe- und Sensoreigenschaften ist eine zentrale Aufgabe und stellt die Schnittstelle zwischen den Schwerpunktgebieten „Sensorik“ und „Klassifikation“ dar, in welchem die Sensorinformationen zusammengeführt werden. Als Grundlage zur Gewebedifferenzierung wird vorausgesetzt, dass unterschiedliche Gewebezustände (z. B. benigne und maligne) unterschiedliche Eigenschaften haben, die sich wiederum durch domänenspezifische Gewebeparameter quantifizieren lassen. Um den Informationsgehalt mehrerer Sensorkanäle zu nutzen, muss das reine Sensorsignal mit einer konsistenten örtlichen Information versehen werden. Somit ist die Aggregation dieser Daten von zentraler Bedeutung für die folgenden Schritte. Um die Vision einer Gewebedifferenzierung in der Größenordnung einiger Millimeter zu erreichen, ist die intraoperative Kenntnis der örtlichen Position und Orientierung der multimodalen Sensoren in entsprechender Genauigkeit unabdingbar. Dazu werden inertiale Messeinheiten (IMU, engl. für ineartial measurement unit) auf den Instrumenten platziert und zusammen mit den intraoperativen Kamerabildern ausgewertet.

Vernetzung von Modellierung und Navigation
In der Navigation werden Deformationen des Organs über eine modellbasierte Prädikiton berücksichtigt und das Modell wird über die Navigationsdaten dynamisch angepasst.

Die Rekonstruktion der Instrumentenposition und deren Orientierung und Einbettung in eine globale Karte zur intraoperativen Navigation stellt dabei eine eigenständige wissenschaftliche Fragestellung dar. Dazu wird ein parametrierbares, dreidimensionales Geometriemodell der in den klinischen Fallstudien betrachteten Organe (Blase bzw. Ovarial in Kooperation mit C1 & C2) erstellt. Dieses fungiert somit nicht nur als intraoperative patientenspezifische Karte, sondern ermöglicht auch die Einbeziehung von prä und postoperativen Daten. Die Informationen über die Ausrichtung der Sensoren als auch der Gewebedifferenzierung wird dem Chirug über eine Augmented Reality angezeigt. Darüber hinaus kann die Interpretierbarkeit der Ergebnisse über die Rekonstruktion von örtlich verteilten Gewebeparametern aus den Sensorsignalen maximiert werden, indem die datengetriebenen Verfahren aus Projekt B3 durch vorhandenes, lokales Modellverständnis gestützt werden

Zentrale Aufgaben

  • Intraoperative Navigation: Schätzung von Position und Orientierung beteiligter Instrumente zueinander derer zum Zielgewebe
  • Lokale, multiphysikalische Gewebemodellierung: Modellgestützte Verarbeitung von präoperativen, intraoperativen und postoperativ Rohsignalen   

Methodiken und Lösungsansätze

  • Modellierung des örtlich verteilten Gewebemodells über kontinuumsmechanische Bilanzrelationen
  • Diskretisierung über finite Elemente Methode, Analyse der Kopplungsstruktur und Ordnungsreduktion
  • Lösung von dynamischen Optimierungsproblem in Echtzeit und Bilddatenregression zur intraoperativen Adaption der Geometrieparameter
  • Kamerabasierte online-Adaption durch verarbeitete, intraoperative Kamerabild-Daten
  • Fusion der Kameradaten mit Accelerometer-, Gyroskop- und Magnetometer-Daten (IMU): Lösung einer iteratives Optimierungsproblem mit dynamischen Nebenbedingungen
  • Ableiten optimaler Sensorkombinationen, die eine Maximierung der Rekonstruktionsgüte erlauben

 

Modellierung & Navigation
Modellierung & Navigation als notwendige Instanz, um den Informationsgehalts mehrere Sensorkanäle nutzbar zu machen

Projektverantwortliche

Dieses Bild zeigt Johannes Schüle

Johannes Schüle

M.Sc.

Doktorand B1

Dieses Bild zeigt Oliver Sawodny

Oliver Sawodny

Prof. Dr.-Ing. habil. Dr. h.c.

Sprecher des GRK 2543

Zum Seitenanfang