SAMed-2: Selectief Geheugen Verbeterd Medisch Segmentatie Model voor Alles

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

Auteurs: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

Samenvatting

Recente "segment anything"-inspanningen tonen belofte door te leren van grootschalige data, maar het direct aanpassen van dergelijke modellen aan medische beelden blijft uitdagend vanwege de complexiteit van medische data, onnauwkeurige annotaties en de voortdurende leervereisten over diverse modaliteiten en anatomische structuren. In dit werk stellen we SAMed-2 voor, een nieuw foundation-model voor medische beeldsegmentatie gebaseerd op de SAM-2-architectuur. Specifiek introduceren we een temporele adapter in de beeldencoder om beeldcorrelaties vast te leggen en een vertrouwensgedreven geheugenmechanisme om hoogzekere kenmerken op te slaan voor latere terugvinding. Deze geheugenstrategie gaat de alomtegenwoordige ruis in grootschalige medische datasets tegen en vermindert catastrofaal vergeten bij het tegenkomen van nieuwe taken of modaliteiten. Om SAMed-2 te trainen en evalueren, hebben we MedBank-100k samengesteld, een uitgebreide dataset die zeven beeldvormingsmodaliteiten en 21 medische segmentatietaken omvat. Onze experimenten op zowel interne benchmarks als 10 externe datasets tonen superieure prestaties aan ten opzichte van state-of-the-art baselines in multitask-scenario's. De code is beschikbaar op: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.