B3 – Multimodale datengetriebene Sensorfusion

Forschungsschwerpunkt B: Modellierung & Klassifikation

Mit Hilfe von Verfahren der multivariaten Statistik die umfangreichen Datensätze, welche aus den unterschiedlichen Messverfahren resultieren, wird analysiert und unter Einbeziehung der örtlichen  Gewebeparameter die Klassifikationsgüte der multimodalen Verfahren zur Gewebedifferenzierung optimiert.

Multimodale datengetriebene Sensorfusion

Klassifikation von Gewebe mittels Sensorfusion
Klassifikation von Gewebe mittels Sensorfusion

Zusammenfassung

Daten aus realen Anwendungen umfassen mehrere Modalitäten, die Inhalte mit derselben Semantik aus komplementären Aspekten darstellen. Auch die intraoperative Gewebedifferenzierung basiert auf der Fusion erheblicher Datenmengen mit unterschiedlichen Informationen zur letztendlichen Abschätzung des malignen Potenzials der jeweiligen Zielstruktur. Die Herausforderung besteht darin, die Verarbeitung multimodaler Datenflüsse, d. h. die in Echtzeit aufgenommenen Daten der Sensoriken aus den Projekte A1-A5, zur interventionellen Diagnostik zu ermöglichen.

Es soll neuartiges Feature-Fusion-Verfahren basierend auf einer mehrstufigen Merkmalsextraktion-Struktur entwickelt werden, um die verschiedenen semantischen Feature-Gruppen zu verschmelzen und die neugenerierten Feature-Vektoren zur Klassifikation einzusetzen. Darüber hinaus können auch bereits erhobene Bilddaten (Sonographie, CT, MRT) indirekt genutzt werden, da die örtlichen Gewebeparameter als zusätzliche Features berücksichtigt werden können.

Grafische Darstellung der Klassifikation, die das Modell von B1 überlagert
Grafische Darstellung der Klassifikation, die das Modell von B1 überlagert

Methodik und Lösungsansätze

Die stationäre örtlich verteilte Gewebemodell aus B1 wird genutzt um synthetische Daten zu generieren, die eine Dimension des Eingangs für die Gewebeklassifikation darstellen. Eingangsdaten sind auch die synthetischen Sensordaten stammend aus den strikt lokalen Messverfahren (Raman- und IR-Spektroskopie, Projekte A2 & A3) sowie aus den räumlich ausgedehnten neuartigen Sensoriken der Projekte A1, A4 & A5.

Ansätze zu überwachenden Klassifikationsverfahren sind Support Vector Machines (SVMs), k-nearest neighbours clustering, decision trees oder künstliche neuronale Netze. Ein Ansatz, der über die Klassenzugehörigkeit hinaus einen Konfidenzgrad des Prädiktionsergebnisses liefert, ist die Modellierung mittels Gaußschen Prozessen.

Als Ergebnis dieser Klassifikationsalgorithmen erhält man eine 3D-Punktwolke, bei denen die Punkte als Merkmale die Zugehörigkeit zur Klasse (maligne vs. benigne) und einen Konfidenzgrad tragen.

Bearbeiter

Dieses Bild zeigt Matthias Ege

Matthias Ege

M.Sc.

Doktorand B3

Dieses Bild zeigt Carina Veil

Carina Veil

Dr.-Ing.

Betreuung A5, B1, B3

Dieses Bild zeigt Cristina Tarín Sauer

Cristina Tarín Sauer

Prof. Dr.-Ing.

Teilprojektleiterin B3, Chancengleichheitsbeauftragte

Zum Seitenanfang