SAMed-2: 선택적 메모리 강화 의료용 세그멘테이션 모델

초록

최근 'segment anything' 연구들은 대규모 데이터 학습을 통해 유망한 결과를 보여주고 있지만, 이러한 모델을 의료 영상에 직접 적용하는 것은 의료 데이터의 복잡성, 노이즈가 있는 주석, 다양한 모달리티와 해부학적 구조에 걸친 지속적 학습 요구 사항으로 인해 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 SAM-2 아키텍처를 기반으로 한 새로운 의료 영상 분할 기반 모델인 SAMed-2를 제안합니다. 구체적으로, 이미지 인코더에 시간적 어댑터를 도입하여 이미지 간 상관관계를 포착하고, 신뢰도 기반 메모리 메커니즘을 통해 높은 확신을 가진 특징을 저장하여 나중에 검색할 수 있도록 합니다. 이 메모리 기반 전략은 대규모 의료 데이터셋에서 흔히 발생하는 노이즈를 상쇄하고, 새로운 작업이나 모달리티를 접할 때 발생하는 치명적 망각(catastrophic forgetting)을 완화합니다. SAMed-2를 학습하고 평가하기 위해, 우리는 7가지 영상 모달리티와 21개의 의료 분할 작업을 아우르는 포괄적인 데이터셋인 MedBank-100k를 구축했습니다. 내부 벤치마크와 10개의 외부 데이터셋에서의 실험 결과, SAMed-2는 다중 작업 시나리오에서 최신 기법들을 능가하는 우수한 성능을 보여주었습니다. 코드는 https://github.com/ZhilingYan/Medical-SAM-Bench에서 확인할 수 있습니다.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.

SAMed-2: 선택적 메모리 강화 의료용 세그멘테이션 모델

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

초록

Support