Surgical SAM 2: Segmentación en Tiempo Real de Cualquier Elemento en Vídeo Quirúrgico mediante una Poda Eficiente de Fotogramas

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Autores: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Resumen

La segmentación de videos quirúrgicos es una tarea crítica en la cirugía asistida por computadora y es vital para mejorar la calidad quirúrgica y los resultados para el paciente. Recientemente, el marco del Modelo Segment Anything 2 (SAM2) ha mostrado avances superiores en la segmentación de imágenes y videos. Sin embargo, SAM2 enfrenta dificultades en eficiencia debido a las altas demandas computacionales para procesar imágenes de alta resolución y dinámicas temporales complejas y de largo alcance en videos quirúrgicos. Para abordar estos desafíos, presentamos Surgical SAM 2 (SurgSAM-2), un modelo avanzado que utiliza SAM2 con un mecanismo de Poda Eficiente de Fotogramas (EFP), para facilitar la segmentación en tiempo real de videos quirúrgicos. El mecanismo EFP gestiona dinámicamente el banco de memoria al retener selectivamente solo los fotogramas más informativos, reduciendo el uso de memoria y el costo computacional manteniendo una alta precisión de segmentación. Nuestros extensos experimentos demuestran que SurgSAM-2 mejora significativamente tanto la eficiencia como la precisión de segmentación en comparación con SAM2 estándar. Notablemente, SurgSAM-2 logra un FPS 3 veces mayor en comparación con SAM2, al tiempo que ofrece un rendimiento de vanguardia después de un ajuste fino con datos de menor resolución. Estos avances establecen a SurgSAM-2 como un modelo líder para el análisis de videos quirúrgicos, haciendo que la segmentación en tiempo real de videos quirúrgicos en entornos con recursos limitados sea una realidad factible.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.