Медицинский SAM 2: Сегментация медицинских изображений в видео с помощью Segment Anything Модель 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Авторы: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Аннотация

В данной статье мы представляем Medical SAM 2 (MedSAM-2), передовую модель сегментации, использующую фреймворк SAM 2 для решения задач сегментации медицинских изображений как в 2D, так и в 3D. Принимая философию рассмотрения медицинских изображений как видео, MedSAM-2 применима не только к 3D медицинским изображениям, но также открывает новую возможность Однократного Сегментирования. Это позволяет пользователям предоставить запрос только для одного или конкретного изображения, нацеленного на объект, после чего модель может автономно сегментировать тот же тип объекта на всех последующих изображениях, независимо от временных связей между изображениями. Мы оценили MedSAM-2 на различных модальностях медицинского изображения, включая органы брюшной полости, зрительные диски, опухоли головного мозга, узлы щитовидной железы и кожные поражения, сравнив ее с передовыми моделями как в традиционных, так и в интерактивных настройках сегментации. Наши результаты показывают, что MedSAM-2 не только превосходит существующие модели по производительности, но также обладает превосходной обобщающей способностью на широком спектре задач сегментации медицинских изображений. Наш код будет опубликован по адресу: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2