Medizinisches SAM 2: Segmentierung von medizinischen Bildern als Video über Segment Anything Modell 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Autoren: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Zusammenfassung

In diesem Paper stellen wir Medical SAM 2 (MedSAM-2) vor, ein fortschrittliches Segmentierungsmodell, das das SAM 2-Framework nutzt, um sowohl 2D- als auch 3D-Medizinbildsegmentierungsaufgaben anzugehen. Indem MedSAM-2 die Philosophie übernimmt, medizinische Bilder als Videos zu betrachten, wendet es sich nicht nur an 3D-Medizinbilder, sondern erschließt auch die neue One-prompt Segmentation-Fähigkeit. Diese ermöglicht es Benutzern, nur eine oder eine spezifische Abbildung als Zielobjekt anzugeben, wonach das Modell autonom das gleiche Objekttyp in allen nachfolgenden Bildern segmentieren kann, unabhängig von den zeitlichen Beziehungen zwischen den Bildern. Wir haben MedSAM-2 über eine Vielzahl von medizinischen Bildgebungsmodalitäten evaluiert, darunter abdominale Organe, Sehnervenscheiben, Hirntumore, Schilddrüsenknoten und Hautläsionen, und es mit modernsten Modellen sowohl in traditionellen als auch interaktiven Segmentierungseinstellungen verglichen. Unsere Ergebnisse zeigen, dass MedSAM-2 nicht nur die Leistung bestehender Modelle übertrifft, sondern auch eine überlegene Verallgemeinerung über eine Reihe von medizinischen Bildsegmentierungsaufgaben aufweist. Unser Code wird veröffentlicht unter: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2