SAMed-2: Modelo de Segmentación de Cualquier Cosa Médica con Memoria Selectiva Mejorada

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

Autores: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

Resumen

Los recientes esfuerzos en "segmentar cualquier cosa" muestran promesa al aprender de datos a gran escala, pero adaptar directamente estos modelos a imágenes médicas sigue siendo un desafío debido a la complejidad de los datos médicos, las anotaciones ruidosas y los requisitos de aprendizaje continuo en diversas modalidades y estructuras anatómicas. En este trabajo, proponemos SAMed-2, un nuevo modelo base para la segmentación de imágenes médicas construido sobre la arquitectura SAM-2. Específicamente, introducimos un adaptador temporal en el codificador de imágenes para capturar correlaciones entre imágenes y un mecanismo de memoria basado en la confianza para almacenar características de alta certeza para su posterior recuperación. Esta estrategia basada en memoria contrarresta el ruido generalizado en los conjuntos de datos médicos a gran escala y mitiga el olvido catastrófico al enfrentarse a nuevas tareas o modalidades. Para entrenar y evaluar SAMed-2, hemos creado MedBank-100k, un conjunto de datos integral que abarca siete modalidades de imagen y 21 tareas de segmentación médica. Nuestros experimentos en puntos de referencia internos y 10 conjuntos de datos externos demuestran un rendimiento superior sobre los baselines más avanzados en escenarios multitarea. El código está disponible en: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.