Chirurgisches SAM 2: Echtzeit-Segmentierung beliebiger Objekte in chirurgischen Videos durch effizientes Frame-Pruning.

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Autoren: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Zusammenfassung

Die Segmentierung von chirurgischen Videos ist eine entscheidende Aufgabe in der computerunterstützten Chirurgie und trägt wesentlich zur Verbesserung der chirurgischen Qualität und der Patientenergebnisse bei. In letzter Zeit hat das Segment Anything Model 2 (SAM2)-Framework überlegene Fortschritte in der Bild- und Videosegmentierung gezeigt. Allerdings hat SAM2 aufgrund der hohen Rechenanforderungen bei der Verarbeitung von hochauflösenden Bildern und komplexen sowie langreichweitigen zeitlichen Dynamiken in chirurgischen Videos mit Effizienzproblemen zu kämpfen. Um diesen Herausforderungen zu begegnen, stellen wir Surgical SAM 2 (SurgSAM-2) vor, ein fortschrittliches Modell zur Nutzung von SAM2 mit einem Mechanismus für effizientes Frame-Pruning (EFP), um die Echtzeit-Segmentierung von chirurgischen Videos zu erleichtern. Der EFP-Mechanismus verwaltet dynamisch den Speicherspeicher, indem er selektiv nur die informativsten Frames behält, was den Speicherverbrauch und die Rechenkosten reduziert, während die hohe Segmentierungsgenauigkeit beibehalten wird. Unsere umfangreichen Experimente zeigen, dass SurgSAM-2 sowohl die Effizienz als auch die Segmentierungsgenauigkeit im Vergleich zum Standard-SAM2 signifikant verbessert. Bemerkenswerterweise erreicht SurgSAM-2 eine 3-fache Bildrate im Vergleich zu SAM2 und liefert auch nach Feinabstimmung mit Daten niedrigerer Auflösung eine Spitzenleistung. Diese Fortschritte etablieren SurgSAM-2 als führendes Modell für die Analyse chirurgischer Videos und machen die Echtzeit-Segmentierung von chirurgischen Videos in ressourcenbeschränkten Umgebungen zu einer realistischen Möglichkeit.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.