Surgical SAM 2: Real-time Segment Anything in chirurgische video's door efficiënt frame snoeien

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Auteurs: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Samenvatting

Segmentatie van chirurgische video's is een cruciale taak in computerondersteunde chirurgie en is essentieel voor het verbeteren van de chirurgische kwaliteit en patiëntresultaten. Recentelijk heeft het Segment Anything Model 2 (SAM2)-framework aanzienlijke vooruitgang geboekt in beeld- en videosegmentatie. SAM2 kampt echter met efficiëntieproblemen vanwege de hoge rekenkundige eisen die het verwerken van hoogresolutiebeelden en complexe, langetermijntemporele dynamiek in chirurgische video's met zich meebrengt. Om deze uitdagingen aan te pakken, introduceren we Surgical SAM 2 (SurgSAM-2), een geavanceerd model dat SAM2 combineert met een Efficient Frame Pruning (EFP)-mechanisme, om real-time segmentatie van chirurgische video's mogelijk te maken. Het EFP-mechanisme beheert het geheugenbank dynamisch door selectief alleen de meest informatieve frames te behouden, waardoor het geheugengebruik en de rekenkundige kosten worden verminderd terwijl een hoge segmentatienauwkeurigheid behouden blijft. Onze uitgebreide experimenten tonen aan dat SurgSAM-2 zowel de efficiëntie als de segmentatienauwkeurigheid aanzienlijk verbetert in vergelijking met het standaard SAM2. Opmerkelijk is dat SurgSAM-2 een 3x hogere FPS bereikt in vergelijking met SAM2, terwijl het ook state-of-the-art prestaties levert na fine-tuning met data van lagere resolutie. Deze vooruitgang positioneert SurgSAM-2 als een toonaangevend model voor chirurgische video-analyse, waardoor real-time segmentatie van chirurgische video's in omgevingen met beperkte middelen een haalbare realiteit wordt.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.