의료 SAM 2: Segment Anything을 통해 비디오 형식의 의료 이미지 세분화하기 모델 2

Medical SAM 2: Segment medical images as video via Segment Anything Model 2

August 1, 2024

저자: Jiayuan Zhu, Yunli Qi, Junde Wu

cs.AI

초록

본 논문에서는 2D 및 3D 의료 이미지 분할 작업에 대응하기 위해 SAM 2 프레임워크를 활용한 고급 분할 모델인 의료 SAM 2(MedSAM-2)을 소개합니다. 의료 이미지를 비디오로 취급하는 철학을 채택함으로써, MedSAM-2는 3D 의료 이미지에 적용되는 동시에 새로운 One-prompt Segmentation 기능을 개발했습니다. 이를 통해 사용자는 한 가지 또는 특정 이미지에 대한 프롬프트를 제공한 후, 모델이 그 이후의 모든 이미지에서 동일한 유형의 객체를 자율적으로 분할할 수 있도록 할 수 있습니다. 이미지 간의 시간적 관계에 관계없이 모델이 동일한 유형의 객체를 자동으로 분할할 수 있습니다. 본 연구에서는 복부 장기, 시신경 디스크, 뇌 종양, 갑상선 결절 및 피부 병변을 포함한 다양한 의료 영상 모달리티를 통해 MedSAM-2를 평가하고, 전통적 및 상호작용적 분할 설정에서 최첨단 모델과 비교했습니다. 연구 결과는 MedSAM-2가 성능에서 기존 모델을 능가할 뿐만 아니라 다양한 의료 이미지 분할 작업에 걸쳐 우수한 일반화 능력을 나타낸다는 것을 보여줍니다. 저희의 코드는 다음에서 공개될 예정입니다: https://github.com/MedicineToken/Medical-SAM2

English

In this paper, we introduce Medical SAM 2 (MedSAM-2), an advanced segmentation model that utilizes the SAM 2 framework to address both 2D and 3D medical image segmentation tasks. By adopting the philosophy of taking medical images as videos, MedSAM-2 not only applies to 3D medical images but also unlocks new One-prompt Segmentation capability. That allows users to provide a prompt for just one or a specific image targeting an object, after which the model can autonomously segment the same type of object in all subsequent images, regardless of temporal relationships between the images. We evaluated MedSAM-2 across a variety of medical imaging modalities, including abdominal organs, optic discs, brain tumors, thyroid nodules, and skin lesions, comparing it against state-of-the-art models in both traditional and interactive segmentation settings. Our findings show that MedSAM-2 not only surpasses existing models in performance but also exhibits superior generalization across a range of medical image segmentation tasks. Our code will be released at: https://github.com/MedicineToken/Medical-SAM2