Medizinische SAM3: Ein Grundmodell für universelle promptgesteuerte medizinische Bildsegmentierung

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation

January 15, 2026

papers.authors: Chongcong Jiang, Tianxingjian Ding, Chuhan Song, Jiachen Tu, Ziyang Yan, Yihua Shao, Zhenyi Wang, Yuzhang Shang, Tianyu Han, Yu Tian

cs.AI

papers.abstract

Prompt-basierte Segmentierungs-Foundation-Modelle wie SAM3 haben durch interaktives und konzeptbasiertes Prompting starke Generalisierungsfähigkeiten demonstriert. Ihre direkte Anwendbarkeit auf die medizinische Bildsegmentierung bleibt jedoch durch erhebliche Domänenverschiebungen, das Fehlen privilegierter räumlicher Prompts und die Notwendigkeit eingeschränkt, komplexe anatomische und volumetrische Strukturen zu erfassen. Hier stellen wir Medical SAM3 vor, ein Foundation-Modell für universelle prompt-gesteuerte medizinische Bildsegmentierung, das durch vollständiges Fine-Tuning von SAM3 auf groß angelegten, heterogenen 2D- und 3D-Bildgebungsdatensätzen mit gepaarten Segmentierungsmasken und Text-Prompts gewonnen wurde. Durch eine systematische Analyse des ursprünglichen SAM3 beobachten wir, dass seine Leistung auf medizinischen Daten erheblich abnimmt, wobei seine scheinbare Wettbewerbsfähigkeit weitgehend auf starken geometrischen Priors wie ground-truth-basierten Begrenzungsrahmen beruht. Diese Erkenntnisse motivieren eine vollständige Modellanpassung, die über reines Prompt-Engineering hinausgeht. Durch Fine-Tuning der Modellparameter von SAM3 auf 33 Datensätzen über 10 medizinische Bildgebungsmodalitäten hinweg erwirbt Medical SAM3 robuste domänenspezifische Repräsentationen, während es die prompt-gesteuerte Flexibilität beibehält. Umfangreiche Experimente über Organe, Bildgebungsmodalitäten und Dimensionen hinweg demonstrieren konsistente und signifikante Leistungssteigerungen, insbesondere in anspruchsvollen Szenarien, die durch semantische Mehrdeutigkeit, komplexe Morphologie und langreichweitige 3D-Kontexte gekennzeichnet sind. Unsere Ergebnisse etablieren Medical SAM3 als universelles, textgeführtes Segmentierungs-Foundation-Modell für die medizinische Bildgebung und unterstreichen die Bedeutung einer ganzheitlichen Modellanpassung für eine robuste prompt-gesteuerte Segmentierung unter starker Domänenverschiebung. Code und Modell werden unter https://github.com/AIM-Research-Lab/Medical-SAM3 verfügbar gemacht.

English

Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.