MedSAM2: 3D 의료 영상 및 비디오에서의 모든 것 분할

MedSAM2: Segment Anything in 3D Medical Images and Videos

April 4, 2025

저자: Jun Ma, Zongxin Yang, Sumin Kim, Bihui Chen, Mohammed Baharoon, Adibvafa Fallahpour, Reza Asakereh, Hongwei Lyu, Bo Wang

cs.AI

초록

의료 영상 및 비디오 분할은 정밀의학을 위한 중요한 과제로, 2D 이미지에 대한 특정 작업 또는 모달리티 전용 모델과 일반 모델 개발에서 상당한 진전을 이루어 왔습니다. 그러나 3D 이미지와 비디오를 위한 일반 목적 모델을 구축하고 이를 포괄적인 사용자 연구와 함께 진행한 연구는 제한적이었습니다. 본 연구에서는 3D 이미지 및 비디오 분할을 위한 프롬프트 가능한 분할 기반 모델인 MedSAM2를 소개합니다. 이 모델은 455,000개 이상의 3D 이미지-마스크 쌍과 76,000개 이상의 프레임으로 구성된 대규모 의료 데이터셋에 Segment Anything Model 2를 미세 조정하여 개발되었으며, 다양한 장기, 병변 및 영상 모달리티에서 이전 모델들을 능가하는 성능을 보여줍니다. 또한, 대규모 데이터셋 생성을 용이하게 하기 위해 인간 참여형 파이프라인을 구현하여, 현재까지 가장 광범위한 사용자 연구를 진행했습니다. 이 연구에서는 5,000개의 CT 병변, 3,984개의 간 MRI 병변, 그리고 251,550개의 심초음파 비디오 프레임에 대한 주석 작업을 포함하여, MedSAM2가 수작업 비용을 85% 이상 절감할 수 있음을 입증했습니다. MedSAM2는 또한 사용자 친화적인 인터페이스를 갖춘 널리 사용되는 플랫폼에 통합되어 로컬 및 클라우드 배포가 가능하도록 설계되어, 연구 및 의료 환경에서 효율적이고 확장 가능하며 고품질의 분할을 지원하는 실용적인 도구로 자리 잡았습니다.

English

Medical image and video segmentation is a critical task for precision medicine, which has witnessed considerable progress in developing task or modality-specific and generalist models for 2D images. However, there have been limited studies on building general-purpose models for 3D images and videos with comprehensive user studies. Here, we present MedSAM2, a promptable segmentation foundation model for 3D image and video segmentation. The model is developed by fine-tuning the Segment Anything Model 2 on a large medical dataset with over 455,000 3D image-mask pairs and 76,000 frames, outperforming previous models across a wide range of organs, lesions, and imaging modalities. Furthermore, we implement a human-in-the-loop pipeline to facilitate the creation of large-scale datasets resulting in, to the best of our knowledge, the most extensive user study to date, involving the annotation of 5,000 CT lesions, 3,984 liver MRI lesions, and 251,550 echocardiogram video frames, demonstrating that MedSAM2 can reduce manual costs by more than 85%. MedSAM2 is also integrated into widely used platforms with user-friendly interfaces for local and cloud deployment, making it a practical tool for supporting efficient, scalable, and high-quality segmentation in both research and healthcare environments.