Künstliches neuronales Netz

B2 – Gewebeklassifikation auf Basis von maschinellen Lernverfahren und Verknüpfung der multimodalen Information mit Datenbanken

Forschungsschwerpunkt B: Modellierung & Klassifikation

Ziel dieses Forschungsprojektes ist es, die Gesamtheit aller Informationen die pro Patient währed der Therapie erhoben werden zu berücksichtigen und durch vortrainierte Klassifikationsverfahren effektiv nutzbar zu machen. Hierfür werden neben akquirierten Daten aus den Partnerprojekten auch existierende, gelabelte Datenbanken miteinbezogen. Mittels Transfer-Learning sollen die Erkenntnisse aus einer Modalität zur Exploration einer anderen Modalitäten genutzt werden.
Schwerpunkt bildet die Entwicklung neuer maschineller Lernverfahren zur simultanen Betrachtung heterogener Datenmodalitäten.

Gewebeklassifikation auf Basis von maschinellen Lernverfahren

Maschinelle Lernverfahren, basierend auf tiefen neuronalen Netzen (DNNs), haben ihre Stärke in der robusten semantischen Segmentierung von Bilddaten in der Medizin bereits unter Beweis gestellt und werden erfolgreich u. a. für die Klassifikation von malignem Gewebe in Mammographien eingesetzt. Im Vergleich zu klassischen Mustererkennungsverfahren werden keine expliziten Merkmale vorgegeben, sondern diese datengetrieben auf großen Datenmengen mit bekannter Segmentierung/Labeln als Gewichte des DNNs gelernt.

Patch-based Tissue Classification in Histopathology

Eine Herausforderung hierbei ist es, die 2D- und 3D-Bilddaten mit unterschiedlicher Auflösung und die unter Umständen nur punktuell vorliegenden Daten, z. B. Ergebnisse des histopathologischen Schnellschnitts, miteinander zu kombinieren und diese sowohl für die präoperative als auch die intraoperative Diagnostik nutzbar zu machen.

Patch-Extraction of Histopathological Whole Slide Images

Mit Hilfe des Transfer-Learnings zwischen den Modalitäten soll auch das intraoperativ aufgenommene Kamerabild in Echtzeit so aufbereitet werden, dass eine räumliche Registrierung mit den anderen multimodalen Modellen erfolgen kann.

Verknüpfung der multimodalen Information mit Datenbanken

Multimodale Datenbasis des Urothelkarzinoms. Es werden diverse klinisch relevante Diagnostikmethoden genutzt, wie endoskopische Videosequenzen, histopathologische Schnitte unter einbezug verschiedener immunhistochemischer Färbung sowie MRT-Scans.
Multimodale Datenbasis des Urothelkarzinoms. Diverse, klinisch relevante Diagnostikmethoden werden kombiniert, insbesondere endoskopische Videosequenzen und verschieden immunhistochemisch eingefärbte histopathologische Schnitte.

In der Tumordiagnostik liegen bisher einige öffentlich zugängliche Bilddatensätze vor (BACH 2018, CAMELYON16 2016, CAMELYON17 2018), die bereits klassifiziert sind und für das Trainieren von DNNs eingesetzt werden können. Allerdings ist hier jeweils meist nur eine einzige Modalität vorgegeben, z. B. mittels Hämatoxylin-Eosin (HE) gefärbte histologische Schnitte. In diesem Teilprojekt sollen daher DNN-basierte Verfahren erforscht werden, die sowohl eine Übertragung der Klassifikation als auch das gemeinschaftliche Trainieren auf mehreren Modalitäten unterstützen.

Die Ungleichverteilung gelabelter Daten stellt eine weitere Herausforderung dar. So existieren nur in einigen Fällen Segmentierungskarten, d. h. Klassifikationen für jeden Pixel für histologische Schnitte oder radiologische Aufnahmen. Bilddaten mit Befund sind hingegen häufiger verfügbar. Diese Label sind deutlich einfacher herzustellen und auch für die neuentwickelten Modalitäten aus den Teilprojekten A1-A5 einfacher zu erheben.

Ziel ist es daher nicht nur die Modalitäten zusammen zu bringen, sondern durch den Einsatz von semi- oder nicht überwachten Lernverfahren auch die Heterogenität der vorliegenden Label-Daten zu vereinen.

Projektverantwortliche

Dieses Bild zeigt Valay Bundele

Valay Bundele

M.Sc.

Doktorand B2

[Foto: Valay Bundele]

Dieses Bild zeigt Hendrik Lensch

Hendrik Lensch

Prof. Dr.-Ing.

Teilprojektleiter B2

[Foto: Hendrik Lensch, Universität Tübingen]

Zum Seitenanfang