SAMed-2 : Modèle de segmentation médicale Anything avec mémoire sélective améliorée

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

papers.authors: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

papers.abstract

Les récents efforts en matière de "segmentation universelle" montrent des résultats prometteurs grâce à l'apprentissage à partir de données à grande échelle. Cependant, l'adaptation directe de ces modèles aux images médicales reste difficile en raison de la complexité des données médicales, des annotations bruyantes et des exigences d'apprentissage continu à travers diverses modalités et structures anatomiques. Dans ce travail, nous proposons SAMed-2, un nouveau modèle de base pour la segmentation d'images médicales, construit sur l'architecture SAM-2. Plus précisément, nous introduisons un adaptateur temporel dans l'encodeur d'images pour capturer les corrélations d'images et un mécanisme de mémoire piloté par la confiance pour stocker des caractéristiques à haute certitude en vue d'une récupération ultérieure. Cette stratégie basée sur la mémoire contrecarre le bruit omniprésent dans les ensembles de données médicales à grande échelle et atténue l'oubli catastrophique lors de la rencontre de nouvelles tâches ou modalités. Pour entraîner et évaluer SAMed-2, nous avons constitué MedBank-100k, un ensemble de données complet couvrant sept modalités d'imagerie et 21 tâches de segmentation médicale. Nos expériences sur des benchmarks internes et 10 ensembles de données externes démontrent une performance supérieure par rapport aux meilleures méthodes de référence dans des scénarios multi-tâches. Le code est disponible à l'adresse suivante : https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.