Selbstüberwachtes Lernen auf histopathologischen Bildern mit mehreren Merkmalen
Um verschiedene Färbungen in histopathologischen Schnitten (z.B. H&E, Östrogen, Progesteron, HER2) effektiv zu nutzen und Informationen zwischen den Modalitäten zu übertragen, werden in Zusammenarbeit mit anderen Teilprojekten SSL-Methoden eingesetzt und evaluiert. Ziel ist es, mit SSL-Strategien latente Repräsentationen auf einzelnen Modalitäten zu erzeugen, die dann z.B. durch Wissensdestillation oder Aufmerksamkeitsmechanismen zusammengeführt werden. Diese Repräsentationen werden durch verschiedene nachgelagerte Aufgaben (Klassifikation, Segmentierung und Objekterkennung) evaluiert.
SSL für die Zusammenführung heterogener Quellen von bildbasierten Patientendaten
In Erweiterung der Methode zur histopathologischen Analyse wird eine übergeordnete Verarbeitungskette zur multimodalen Gewebeklassifikation auf Basis von Allzweckarchitekturen entwickelt, wobei die histopathologischen Daten und deren latente Repräsentationen als Grundlage für weitere bildbasierte Modalitäten dienen. Durch einen vereinheitlichten latenten Raum sollen Erkenntnisse aus der prä- und postoperativen Analyse in die intraoperative Diagnostik einfließen.
Voraussetzung hierfür ist ebenfalls die Erhebung eines patientenzentrierten Datensatzes unter Verwendung mehrerer bildbasierter Modalitäten aus anderen Teilprojekten. So wird die Entwicklung einer SQL-basierten Plattform für die Datenerfassung unter Einbeziehung weiterer Modalitäten und Entitäten fortgesetzt und zu einer vielseitig einsetzbaren Software führen.
Intraoperative visuelle Verfolgung
Für die visuelle intraoperative Verfolgung wird ein transformatorbasierter Ansatz entwickelt, der längere Videoabschnitte mit mehreren hundert Bildern robust verarbeiten kann. Zum Training werden öffentlich zugängliche Datensätze sowie interne Datensätze verwendet. Aufbauend auf früheren Arbeiten und unserer eigenen Forschung zu SSL-Strategien werden neue Methoden zur Verfolgung von Objekten in der intraoperativen Umgebung entwickelt.
3D-Rekonstruktion aus intraoperativen Videos mit NeRFs
In diesem Teilprojekt werden die landmarkbasierten Methoden aus Projekt B1 durch NeRF-basierte Methoden ergänzt. Dazu werden zunächst Videos einer intraoperativen Szene im JointLab aufgenommen, um die Kamera- und Lichttrajektorie aufzuzeichnen. Diese Daten werden verwendet, um verschiedene Ansätze zu vergleichen und zu bewerten. Die entwickelten Methoden zur Multiview-3D-Rekonstruktion werden schließlich in Zusammenarbeit mit anderen Untergruppen evaluiert und an aufgezeichneten Szenen getestet. Dieses Projekt nutzt verfügbare Positionsdaten, um die Lokalisierung in Umgebungen mit geringer Textur zu ermöglichen.
Projektverantwortliche
Valay Bundele
M.Sc.Doktorand B2
[Foto: Valay Bundele]
Hendrik Lensch
Prof. Dr.-Ing.Teilprojektleiter B2
[Foto: Hendrik Lensch, Universität Tübingen]