Multimodale datengetriebene Sensorfusion
Zusammenfassung
Daten aus realen Anwendungen umfassen mehrere Modalitäten, die Inhalte mit derselben Semantik aus komplementären Aspekten darstellen. Auch die intraoperative Gewebedifferenzierung basiert auf der Fusion erheblicher Datenmengen mit unterschiedlichen Informationen zur letztendlichen Abschätzung des malignen Potenzials der jeweiligen Zielstruktur. Die Herausforderung besteht darin, die Verarbeitung multimodaler Datenflüsse, d. h. die in Echtzeit aufgenommenen Daten der Sensoriken aus den Projekte A1-A5, zur interventionellen Diagnostik zu ermöglichen.
Es soll neuartiges Feature-Fusion-Verfahren basierend auf einer mehrstufigen Merkmalsextraktion-Struktur entwickelt werden, um die verschiedenen semantischen Feature-Gruppen zu verschmelzen und die neugenerierten Feature-Vektoren zur Klassifikation einzusetzen. Darüber hinaus können auch bereits erhobene Bilddaten (Sonographie, CT, MRT) indirekt genutzt werden, da die örtlichen Gewebeparameter als zusätzliche Features berücksichtigt werden können.
Methodik und Lösungsansätze
Die stationäre örtlich verteilte Gewebemodell aus B1 wird genutzt um synthetische Daten zu generieren, die eine Dimension des Eingangs für die Gewebeklassifikation darstellen. Eingangsdaten sind auch die synthetischen Sensordaten stammend aus den strikt lokalen Messverfahren (Raman- und IR-Spektroskopie, Projekte A2 & A3) sowie aus den räumlich ausgedehnten neuartigen Sensoriken der Projekte A1, A4 & A5.
Ansätze zu überwachenden Klassifikationsverfahren sind Support Vector Machines (SVMs), k-nearest neighbours clustering, decision trees oder künstliche neuronale Netze. Ein Ansatz, der über die Klassenzugehörigkeit hinaus einen Konfidenzgrad des Prädiktionsergebnisses liefert, ist die Modellierung mittels Gaußschen Prozessen.
Als Ergebnis dieser Klassifikationsalgorithmen erhält man eine 3D-Punktwolke, bei denen die Punkte als Merkmale die Zugehörigkeit zur Klasse (maligne vs. benigne) und einen Konfidenzgrad tragen.
Bearbeiter
Matthias Ege
M.Sc.Doktorand B3
Carina Veil
Dr.-Ing.Betreuung A5, B1, B3
Cristina Tarín Sauer
Prof. Dr.-Ing.Teilprojektleiterin B3, Chancengleichheitsbeauftragte