Хирургический SAM 2: Сегментация в реальном времени любых объектов на хирургическом видео с помощью эффективного обрезания кадров

Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning

August 15, 2024

Авторы: Haofeng Liu, Erli Zhang, Junde Wu, Mingxuan Hong, Yueming Jin

cs.AI

Аннотация

Сегментация хирургических видео является критической задачей в компьютерно-помогаемой хирургии и имеет важное значение для улучшения качества хирургических вмешательств и результатов для пациентов. Недавно было показано, что модель Segment Anything Model 2 (SAM2) демонстрирует превосходные достижения в области сегментации изображений и видео. Однако SAM2 сталкивается с проблемой эффективности из-за высоких вычислительных требований при обработке изображений высокого разрешения и сложной и длительной временной динамики в хирургических видео. Для решения этих проблем мы представляем модель Surgical SAM 2 (SurgSAM-2), продвинутую модель для использования SAM2 с механизмом Эффективной Обрезки Кадров (EFP), чтобы обеспечить сегментацию хирургических видео в реальном времени. Механизм EFP динамически управляет банком памяти, выборочно сохраняя только наиболее информативные кадры, снижая использование памяти и вычислительные затраты, сохраняя при этом высокую точность сегментации. Наши обширные эксперименты показывают, что SurgSAM-2 значительно улучшает как эффективность, так и точность сегментации по сравнению с базовым SAM2. Замечательно, SurgSAM-2 достигает в 3 раза большей частоты кадров в секунду по сравнению с SAM2, обеспечивая при этом передовые показатели после доводки с использованием данных с более низким разрешением. Эти достижения утверждают SurgSAM-2 как ведущую модель для анализа хирургических видео, делая сегментацию хирургических видео в реальном времени в условиях ограниченных ресурсов реальной возможностью.

English

Surgical video segmentation is a critical task in computer-assisted surgery and is vital for enhancing surgical quality and patient outcomes. Recently, the Segment Anything Model 2 (SAM2) framework has shown superior advancements in image and video segmentation. However, SAM2 struggles with efficiency due to the high computational demands of processing high-resolution images and complex and long-range temporal dynamics in surgical videos. To address these challenges, we introduce Surgical SAM 2 (SurgSAM-2), an advanced model to utilize SAM2 with an Efficient Frame Pruning (EFP) mechanism, to facilitate real-time surgical video segmentation. The EFP mechanism dynamically manages the memory bank by selectively retaining only the most informative frames, reducing memory usage and computational cost while maintaining high segmentation accuracy. Our extensive experiments demonstrate that SurgSAM-2 significantly improves both efficiency and segmentation accuracy compared to the vanilla SAM2. Remarkably, SurgSAM-2 achieves a 3times FPS compared with SAM2, while also delivering state-of-the-art performance after fine-tuning with lower-resolution data. These advancements establish SurgSAM-2 as a leading model for surgical video analysis, making real-time surgical video segmentation in resource-constrained environments a feasible reality.