Medical SAM 2: Segmentação de imagens médicas como vídeo via Segment Anything Modelo 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

Autores: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

Resumo

Neste artigo, apresentamos o Medical SAM 2 (MedSAM-2), um modelo avançado de segmentação que utiliza o framework SAM 2 para lidar com tarefas de segmentação de imagens médicas 2D e 3D. Ao adotar a filosofia de considerar imagens médicas como vídeos, o MedSAM-2 não se aplica apenas a imagens médicas 3D, mas também desbloqueia a nova capacidade de Segmentação com Uma Sugestão. Isso permite que os usuários forneçam uma sugestão para apenas uma imagem específica visando um objeto, após o qual o modelo pode segmentar autonomamente o mesmo tipo de objeto em todas as imagens subsequentes, independentemente das relações temporais entre as imagens. Avaliamos o MedSAM-2 em várias modalidades de imagens médicas, incluindo órgãos abdominais, discos ópticos, tumores cerebrais, nódulos da tireoide e lesões de pele, comparando-o com modelos de ponta em configurações de segmentação tradicionais e interativas. Nossos resultados mostram que o MedSAM-2 não apenas supera os modelos existentes em desempenho, mas também apresenta uma generalização superior em uma variedade de tarefas de segmentação de imagens médicas. Nosso código será disponibilizado em: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2