Medical SAM 2: Segmentación de imágenes médicas como video a través de Segment Anything Modelo 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Autores: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Resumen

En este documento, presentamos Medical SAM 2 (MedSAM-2), un modelo avanzado de segmentación que utiliza el marco SAM 2 para abordar tareas de segmentación de imágenes médicas en 2D y 3D. Al adoptar la filosofía de considerar las imágenes médicas como videos, MedSAM-2 no solo se aplica a imágenes médicas en 3D, sino que también desbloquea una nueva capacidad de Segmentación de Una Sola Pista. Esto permite a los usuarios proporcionar una pista para solo una imagen específica, apuntando a un objeto, después de lo cual el modelo puede segmentar de manera autónoma el mismo tipo de objeto en todas las imágenes subsiguientes, independientemente de las relaciones temporales entre las imágenes. Evaluamos MedSAM-2 en una variedad de modalidades de imágenes médicas, incluidos órganos abdominales, discos ópticos, tumores cerebrales, nódulos tiroideos y lesiones cutáneas, comparándolo con modelos de vanguardia tanto en configuraciones de segmentación tradicionales como interactivas. Nuestros hallazgos muestran que MedSAM-2 no solo supera a los modelos existentes en rendimiento, sino que también exhibe una generalización superior en una variedad de tareas de segmentación de imágenes médicas. Nuestro código se publicará en: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2