Medical SAM 2: Segmenteer medische beelden als video via het Segment Anything Model 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Auteurs: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Samenvatting

In dit artikel introduceren we Medical SAM 2 (MedSAM-2), een geavanceerd segmentatiemodel dat gebruikmaakt van het SAM 2-framework om zowel 2D- als 3D-medische beeldsegmentatietaken aan te pakken. Door de filosofie van het behandelen van medische beelden als video's te omarmen, is MedSAM-2 niet alleen toepasbaar op 3D-medische beelden, maar ontgrendelt het ook een nieuwe One-prompt Segmentation-capaciteit. Hierdoor kunnen gebruikers een prompt geven voor slechts één of een specifiek beeld dat gericht is op een object, waarna het model hetzelfde type object in alle daaropvolgende beelden autonoom kan segmenteren, ongeacht de temporele relaties tussen de beelden. We hebben MedSAM-2 geëvalueerd op een verscheidenheid aan medische beeldvormingsmodaliteiten, waaronder abdominale organen, optische schijven, hersentumoren, schildklierknobbels en huidlaesies, en vergeleken met state-of-the-art modellen in zowel traditionele als interactieve segmentatie-instellingen. Onze bevindingen tonen aan dat MedSAM-2 niet alleen bestaande modellen in prestaties overtreft, maar ook superieure generalisatie vertoont over een reeks medische beeldsegmentatietaken. Onze code zal worden vrijgegeven op: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2