SAMed-2: Modelo de Segmentação de Qualquer Coisa Médica com Memória Seletiva Aprimorada

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

Autores: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

Resumo

Esforços recentes de "segmentar qualquer coisa" mostram promessa ao aprenderem de dados em grande escala, mas a adaptação direta desses modelos para imagens médicas permanece desafiadora devido à complexidade dos dados médicos, anotações ruidosas e requisitos de aprendizado contínuo em diversas modalidades e estruturas anatômicas. Neste trabalho, propomos o SAMed-2, um novo modelo de base para segmentação de imagens médicas construído sobre a arquitetura SAM-2. Especificamente, introduzimos um adaptador temporal no codificador de imagens para capturar correlações de imagens e um mecanismo de memória orientado por confiança para armazenar características de alta certeza para recuperação posterior. Essa estratégia baseada em memória combate o ruído generalizado em grandes conjuntos de dados médicos e mitiga o esquecimento catastrófico ao enfrentar novas tarefas ou modalidades. Para treinar e avaliar o SAMed-2, organizamos o MedBank-100k, um conjunto de dados abrangente que abrange sete modalidades de imagem e 21 tarefas de segmentação médica. Nossos experimentos em benchmarks internos e 10 conjuntos de dados externos demonstram desempenho superior em relação às melhores abordagens de referência em cenários de múltiplas tarefas. O código está disponível em: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.