Surgical SAM 2: Segmentação em Tempo Real de Qualquer Elemento em Vídeo Cirúrgico por Poda Eficiente de Frames.

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Autores: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Resumo

A segmentação de vídeos cirúrgicos é uma tarefa crítica na cirurgia assistida por computador e é vital para aprimorar a qualidade cirúrgica e os resultados para os pacientes. Recentemente, o framework Segment Anything Model 2 (SAM2) demonstrou avanços superiores em segmentação de imagens e vídeos. No entanto, o SAM2 enfrenta dificuldades com eficiência devido às altas demandas computacionais para processar imagens de alta resolução e dinâmicas temporais complexas e de longo alcance em vídeos cirúrgicos. Para lidar com esses desafios, apresentamos o Surgical SAM 2 (SurgSAM-2), um modelo avançado que utiliza o SAM2 com um mecanismo de Poda Eficiente de Frames (EFP) para facilitar a segmentação em tempo real de vídeos cirúrgicos. O mecanismo EFP gerencia dinamicamente o banco de memória retendo seletivamente apenas os frames mais informativos, reduzindo o uso de memória e o custo computacional, mantendo alta precisão na segmentação. Nossos experimentos extensivos demonstram que o SurgSAM-2 melhora significativamente tanto a eficiência quanto a precisão da segmentação em comparação com o SAM2 convencional. Notavelmente, o SurgSAM-2 alcança 3 vezes mais quadros por segundo (FPS) em comparação com o SAM2, além de fornecer desempenho de ponta após ajustes finos com dados de menor resolução. Esses avanços estabelecem o SurgSAM-2 como um modelo líder para análise de vídeos cirúrgicos, tornando a segmentação em tempo real de vídeos cirúrgicos em ambientes com recursos limitados uma realidade viável.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.