Медицинский SAM3: Базовая модель для универсальной сегментации медицинских изображений на основе промптов

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation

January 15, 2026

Авторы: Chongcong Jiang, Tianxingjian Ding, Chuhan Song, Jiachen Tu, Ziyang Yan, Yihua Shao, Zhenyi Wang, Yuzhang Shang, Tianyu Han, Yu Tian

cs.AI

Аннотация

Фундаментальные модели сегментации с поддержкой промптов, такие как SAM3, продемонстрировали высокие способности к обобщению благодаря интерактивным и концептуальным промптам. Однако их прямое применение для сегментации медицинских изображений остается ограниченным из-за значительного доменного сдвига, отсутствия привилегированных пространственных подсказок и необходимости анализа сложных анатомических и объемных структур. В данной работе мы представляем Medical SAM3 — фундаментальную модель для универсальной сегментации медицинских изображений на основе промптов, полученную путем полного дообучения SAM3 на крупномасштабных гетерогенных наборах данных 2D и 3D медицинской визуализации с парными масками сегментации и текстовыми промптами. В результате системного анализа базовой версии SAM3 мы наблюдаем, что ее производительность существенно снижается на медицинских данных, а кажущаяся конкурентоспособность в значительной степени зависит от строгих геометрических априорных предположений, таких как ограничивающие рамки, полученные из эталонных данных. Эти выводы обосновывают необходимость полной адаптации модели, выходящей за рамки лишь инженерии промптов. Путем дообучения параметров модели SAM3 на 33 наборах данных, охватывающих 10 модальностей медицинской визуализации, Medical SAM3 приобретает устойчивые доменно-специфичные представления, сохраняя гибкость работы по промптам. Многочисленные эксперименты на различных органах, модальностях визуализации и размерностях демонстрируют последовательное и значительное улучшение производительности, особенно в сложных сценариях, характеризующихся семантической неоднозначностью, сложной морфологией и учетом протяженного 3D-контекста. Наши результаты устанавливают Medical SAM3 в качестве универсальной, управляемой текстом фундаментальной модели сегментации для медицинской визуализации и подчеркивают важность целостной адаптации модели для достижения надежной сегментации по промптам в условиях значительного доменного сдвига. Код и модель будут доступны по адресу https://github.com/AIM-Research-Lab/Medical-SAM3.

English

Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.