SAMed-2: Selektives Gedächtnis erweitertes medizinisches Segmentierungsmodell für beliebige Objekte

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

papers.authors: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

papers.abstract

Jüngste Bemühungen im Bereich "Segment Anything" zeigen vielversprechende Ergebnisse durch das Lernen aus groß angelegten Daten, doch die direkte Anpassung solcher Modelle auf medizinische Bilder bleibt aufgrund der Komplexität medizinischer Daten, verrauschter Annotationen und der Anforderungen an kontinuierliches Lernen über verschiedene Modalitäten und anatomische Strukturen hinweg eine Herausforderung. In dieser Arbeit schlagen wir SAMed-2 vor, ein neues Grundlagenmodell für die Segmentierung medizinischer Bilder, das auf der SAM-2-Architektur aufbaut. Insbesondere führen wir einen temporalen Adapter in den Bildencoder ein, um Bildkorrelationen zu erfassen, sowie einen konfidenzgesteuerten Speichermechanismus, um hochsichere Merkmale für die spätere Wiederverwendung zu speichern. Diese speicherbasierte Strategie bekämpft das weit verbreitete Rauschen in groß angelegten medizinischen Datensätzen und mildert katastrophales Vergessen bei der Begegnung mit neuen Aufgaben oder Modalitäten. Um SAMed-2 zu trainieren und zu evaluieren, haben wir MedBank-100k kuratiert, einen umfassenden Datensatz, der sieben Bildgebungsmodalitäten und 21 medizinische Segmentierungsaufgaben umfasst. Unsere Experimente sowohl auf internen Benchmarks als auch auf 10 externen Datensätzen zeigen eine überlegene Leistung gegenüber state-of-the-art Baselines in Multi-Task-Szenarien. Der Code ist verfügbar unter: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.