Medical SAM 2 : Segmentation d'images médicales sous forme de vidéo via le modèle Segment Anything 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Auteurs: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Résumé

Dans cet article, nous présentons Medical SAM 2 (MedSAM-2), un modèle de segmentation avancé qui utilise le framework SAM 2 pour traiter à la fois les tâches de segmentation d'images médicales en 2D et en 3D. En adoptant l'approche consistant à considérer les images médicales comme des vidéos, MedSAM-2 ne s'applique pas seulement aux images médicales en 3D, mais débloque également une nouvelle capacité de segmentation en un seul prompt. Cela permet aux utilisateurs de fournir un prompt pour une seule image ou une image spécifique ciblant un objet, après quoi le modèle peut segmenter automatiquement le même type d'objet dans toutes les images suivantes, indépendamment des relations temporelles entre les images. Nous avons évalué MedSAM-2 sur une variété de modalités d'imagerie médicale, incluant les organes abdominaux, les disques optiques, les tumeurs cérébrales, les nodules thyroïdiens et les lésions cutanées, en le comparant aux modèles de pointe dans des contextes de segmentation traditionnelle et interactive. Nos résultats montrent que MedSAM-2 non seulement surpasse les modèles existants en termes de performance, mais démontre également une généralisation supérieure sur une gamme de tâches de segmentation d'images médicales. Notre code sera disponible à l'adresse suivante : https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2