Medical SAM 2: Segmentazione di immagini mediche come video tramite il Segment Anything Model 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Autori: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Abstract

In questo articolo, presentiamo Medical SAM 2 (MedSAM-2), un modello avanzato di segmentazione che utilizza il framework SAM 2 per affrontare sia compiti di segmentazione di immagini mediche 2D che 3D. Adottando la filosofia di considerare le immagini mediche come video, MedSAM-2 non solo si applica alle immagini mediche 3D, ma sblocca anche una nuova capacità di One-prompt Segmentation. Ciò consente agli utenti di fornire un prompt per una sola immagine o per un'immagine specifica mirata a un oggetto, dopodiché il modello può segmentare autonomamente lo stesso tipo di oggetto in tutte le immagini successive, indipendentemente dalle relazioni temporali tra le immagini. Abbiamo valutato MedSAM-2 su una varietà di modalità di imaging medico, inclusi organi addominali, dischi ottici, tumori cerebrali, noduli tiroidei e lesioni cutanee, confrontandolo con modelli all'avanguardia sia in contesti di segmentazione tradizionale che interattiva. I nostri risultati dimostrano che MedSAM-2 non solo supera i modelli esistenti in termini di prestazioni, ma mostra anche una generalizzazione superiore in una gamma di compiti di segmentazione di immagini mediche. Il nostro codice sarà rilasciato all'indirizzo: https://github.com/MedicineToken/Medical-SAM2.

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2