Surgical SAM 2 : Segmentation en temps réel dans les vidéos chirurgicales grâce à une élimination efficace des images

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Auteurs: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Résumé

La segmentation vidéo chirurgicale est une tâche cruciale en chirurgie assistée par ordinateur et joue un rôle essentiel dans l'amélioration de la qualité des interventions et des résultats pour les patients. Récemment, le modèle Segment Anything Model 2 (SAM2) a montré des avancées significatives dans la segmentation d'images et de vidéos. Cependant, SAM2 rencontre des difficultés en termes d'efficacité en raison des exigences computationnelles élevées pour traiter des images haute résolution et des dynamiques temporelles complexes et à long terme dans les vidéos chirurgicales. Pour relever ces défis, nous présentons Surgical SAM 2 (SurgSAM-2), un modèle avancé qui exploite SAM2 avec un mécanisme de sélection efficace des images (Efficient Frame Pruning, EFP), afin de faciliter la segmentation vidéo chirurgicale en temps réel. Le mécanisme EFP gère dynamiquement la mémoire en conservant uniquement les images les plus informatives, réduisant ainsi l'utilisation de la mémoire et les coûts computationnels tout en maintenant une précision de segmentation élevée. Nos expériences approfondies démontrent que SurgSAM-2 améliore significativement à la fois l'efficacité et la précision de segmentation par rapport à la version standard de SAM2. De manière remarquable, SurgSAM-2 atteint un taux de 3 fois plus d'images par seconde (FPS) que SAM2, tout en offrant des performances de pointe après un ajustement fin avec des données de résolution inférieure. Ces avancées positionnent SurgSAM-2 comme un modèle de référence pour l'analyse vidéo chirurgicale, rendant la segmentation vidéo chirurgicale en temps réel dans des environnements à ressources limitées une réalité réalisable.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.