SAMed-2: Modello di Segmentazione Medica Anything con Memoria Selettiva Potenziata

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

Autori: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

Abstract

I recenti sforzi nel campo del "segment anything" mostrano promettenti risultati attraverso l'apprendimento da dati su larga scala, ma l'adattamento diretto di tali modelli alle immagini mediche rimane una sfida a causa della complessità dei dati medici, delle annotazioni rumorose e dei requisiti di apprendimento continuo attraverso diverse modalità e strutture anatomiche. In questo lavoro, proponiamo SAMed-2, un nuovo modello di base per la segmentazione di immagini mediche, costruito sull'architettura SAM-2. Nello specifico, introduciamo un adattatore temporale nell'encoder di immagini per catturare le correlazioni tra immagini e un meccanismo di memoria guidato dalla confidenza per memorizzare caratteristiche ad alta certezza per un successivo recupero. Questa strategia basata sulla memoria contrasta il rumore pervasivo nei dataset medici su larga scala e mitiga l'oblio catastrofico quando si incontrano nuovi compiti o modalità. Per addestrare e valutare SAMed-2, abbiamo curato MedBank-100k, un dataset completo che copre sette modalità di imaging e 21 compiti di segmentazione medica. I nostri esperimenti su benchmark interni e su 10 dataset esterni dimostrano prestazioni superiori rispetto ai migliori baseline in scenari multi-task. Il codice è disponibile all'indirizzo: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.