SAMed-2: Селективная модель сегментации медицинских изображений с расширенной памятью

SAMed-2: Selective Memory Enhanced Medical Segment Anything Model

July 4, 2025

Авторы: Zhiling Yan, Sifan Song, Dingjie Song, Yiwei Li, Rong Zhou, Weixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

cs.AI

Аннотация

Недавние разработки в области "сегментации чего угодно" демонстрируют перспективы благодаря обучению на крупномасштабных данных, однако прямое применение таких моделей к медицинским изображениям остается сложной задачей из-за сложности медицинских данных, зашумленных аннотаций и требований к непрерывному обучению на разнообразных модальностях и анатомических структурах. В данной работе мы представляем SAMed-2 — новую базовую модель для сегментации медицинских изображений, построенную на архитектуре SAM-2. В частности, мы вводим временной адаптер в кодировщик изображений для учета корреляций между изображениями и механизм памяти, управляемый уверенностью, для хранения высокоточных признаков с последующим их извлечением. Эта стратегия, основанная на памяти, противостоит повсеместному шуму в крупномасштабных медицинских наборах данных и смягчает проблему катастрофического забывания при столкновении с новыми задачами или модальностями. Для обучения и оценки SAMed-2 мы создали MedBank-100k — всеобъемлющий набор данных, охватывающий семь методов визуализации и 21 задачу медицинской сегментации. Наши эксперименты как на внутренних бенчмарках, так и на 10 внешних наборах данных демонстрируют превосходную производительность по сравнению с современными базовыми методами в многозадачных сценариях. Код доступен по адресу: https://github.com/ZhilingYan/Medical-SAM-Bench.

English

Recent "segment anything" efforts show promise by learning from large-scale data, but adapting such models directly to medical images remains challenging due to the complexity of medical data, noisy annotations, and continual learning requirements across diverse modalities and anatomical structures. In this work, we propose SAMed-2, a new foundation model for medical image segmentation built upon the SAM-2 architecture. Specifically, we introduce a temporal adapter into the image encoder to capture image correlations and a confidence-driven memory mechanism to store high-certainty features for later retrieval. This memory-based strategy counters the pervasive noise in large-scale medical datasets and mitigates catastrophic forgetting when encountering new tasks or modalities. To train and evaluate SAMed-2, we curate MedBank-100k, a comprehensive dataset spanning seven imaging modalities and 21 medical segmentation tasks. Our experiments on both internal benchmarks and 10 external datasets demonstrate superior performance over state-of-the-art baselines in multi-task scenarios. The code is available at: https://github.com/ZhilingYan/Medical-SAM-Bench.