Generalizable Surgical Scene Segmentation of Hyperspectral Images

Diese Dissertation mit dem Titel „Generalizable Surgical Scene Segmentation of Hyperspectral Images“ befasst sich mit den Herausforderungen der visuellen Unterscheidung von Gewebetypen während Operationen, wodurch postoperative Komplikationen reduziert werden könnten. Es wird ein umfassender Ansatz zur automatischen Segmentierung chirurgischer Szenen in hoher Genauigkeit mit Hilfe der hyperspektralen Bildgebung (HSI) vorgestellt, der die Grenzen der herkömmlichen RGB-Bildgebung überwindet und die Sicht der Chirurgen erweitert. Eine Spektralanalyse zeigt, dass die wichtigste Quelle für die Variabilität von Spektraldaten das beobachtete Gewebe und nicht die spezifischen Aufnahmebedingungen sind. Angesichts der Notwendigkeit, zahlreiche Segmentierungsnetzwerke zu trainieren, werden optimierte Datenladetechniken für HSI eingeführt, welche die Trainingszeiten verkürzen und die GPU-Nutzung verbessern. Während Netzwerke, die mit RGB-Daten arbeiten, etabliert sind, bleibt die optimale Übergabe von HSI-Daten an neuronale Netzwerke eine offene Herausforderung. Eine umfassende Validierungsstudie in dieser Arbeit hat ergeben, dass HSI über verschiedene räumliche Granularitäten der Eingabedaten (Pixel vs. Superpixel vs. Patches vs. Bilder) besser abschneidet als RGB. Ein wichtiger Bestandteil real anwendbarer Netzwerke ist die Generalisierungsfähigkeit auf unbekannte Daten. Daher werden in dieser Arbeit Unterschiede verschiedener Domänen analysiert, die durch Individuen, geometrische Veränderungen oder den Wechsel von einer Spezies zur anderen verursacht werden. Während Variationen durch Individuen nur eine geringe Herausforderung darstellen, wird eine einfache, netzwerkunabhängige Augmentierung vorgeschlagen, um die Segmentierungsleistung bei geometrischen Veränderungen zu verbessern. Schließlich wird ein erfolgreicher Wissenstransfer zwischen Spezies durch eine Augmentation gezeigt, die auf die Zielspezies angewendet wird und auf zuvor gelernten linearen Transformationen der Ausgangsspezies basiert.

Zusammenfassend lässt sich sagen, dass die vorgestellten semantischen Segmentierungsnetzwerke 19 verschiedene Gewebetypen in der offenen Chirurgie mit hoher Effizienz und Robustheit gegenüber Veränderungen im chirurgischen Kontext identifizieren und den Wissenstransfer zwischen verschiedenen Spezies nutzen können. Die Ergebnisse werden durch eine gründliche Validierung mit großen Datensätzen von bisher unerreichter Größe unterstützt.