Gewebeklassifikation auf Basis von maschinellen Lernverfahren
Maschinelle Lernverfahren, basierend auf tiefen neuronalen Netzen (DNNs), haben ihre Stärke in der robusten semantischen Segmentierung von Bilddaten in der Medizin bereits unter Beweis gestellt und werden erfolgreich u. a. für die Klassifikation von malignem Gewebe in Mammographien eingesetzt. Im Vergleich zu klassischen Mustererkennungsverfahren werden keine expliziten Merkmale vorgegeben, sondern diese datengetrieben auf großen Datenmengen mit bekannter Segmentierung/Labeln als Gewichte des DNNs gelernt.
Eine Herausforderung hierbei ist es, die 2D- und 3D-Bilddaten mit unterschiedlicher Auflösung und die unter Umständen nur punktuell vorliegenden Daten, z. B. Ergebnisse des histopathologischen Schnellschnitts, miteinander zu kombinieren und diese sowohl für die präoperative als auch die intraoperative Diagnostik nutzbar zu machen.
Mit Hilfe des Transfer-Learnings zwischen den Modalitäten soll auch das intraoperativ aufgenommene Kamerabild in Echtzeit so aufbereitet werden, dass eine räumliche Registrierung mit den anderen multimodalen Modellen erfolgen kann.
Verknüpfung der multimodalen Information mit Datenbanken
In der Tumordiagnostik liegen bisher einige öffentlich zugängliche Bilddatensätze vor (BACH 2018, CAMELYON16 2016, CAMELYON17 2018), die bereits klassifiziert sind und für das Trainieren von DNNs eingesetzt werden können. Allerdings ist hier jeweils meist nur eine einzige Modalität vorgegeben, z. B. mittels Hämatoxylin-Eosin (HE) gefärbte histologische Schnitte. In diesem Teilprojekt sollen daher DNN-basierte Verfahren erforscht werden, die sowohl eine Übertragung der Klassifikation als auch das gemeinschaftliche Trainieren auf mehreren Modalitäten unterstützen.
Die Ungleichverteilung gelabelter Daten stellt eine weitere Herausforderung dar. So existieren nur in einigen Fällen Segmentierungskarten, d. h. Klassifikationen für jeden Pixel für histologische Schnitte oder radiologische Aufnahmen. Bilddaten mit Befund sind hingegen häufiger verfügbar. Diese Label sind deutlich einfacher herzustellen und auch für die neuentwickelten Modalitäten aus den Teilprojekten A1-A5 einfacher zu erheben.
Ziel ist es daher nicht nur die Modalitäten zusammen zu bringen, sondern durch den Einsatz von semi- oder nicht überwachten Lernverfahren auch die Heterogenität der vorliegenden Label-Daten zu vereinen.
Projektverantwortliche

Valay Bundele
M.Sc.Doktorand B2
[Foto: Valay Bundele]

Hendrik Lensch
Prof. Dr.-Ing.Teilprojektleiter B2
[Foto: Hendrik Lensch, Universität Tübingen]