Medische SAM3: Een fundamenteel model voor universele promptgestuurde medische beeldsegmentatie

Samenvatting

Promptbare segmentatiefoundationmodellen zoals SAM3 hebben sterke generalisatiecapaciteiten gedemonstreerd door interactieve en conceptgebaseerde prompting. Hun directe toepasbaarheid op medische beeldsegmentatie blijft echter beperkt door ernstige domeinverschuivingen, de afwezigheid van geprivilegieerde ruimtelijke prompts en de noodzaak om te redeneren over complexe anatomische en volumetrische structuren. Hier presenteren we Medical SAM3, een foundationmodel voor universele prompt-gestuurde medische beeldsegmentatie, verkregen door volledige fine-tuning van SAM3 op grootschalige, heterogene 2D- en 3D-medische beeldvormingsdatasets met gekoppelde segmentatiemaskers en tekstprompts. Door een systematische analyse van de standaard SAM3 observeren we dat de prestaties aanzienlijk verslechteren op medische data, waarbij de schijnbare competitiviteit grotendeels steunt op sterke geometrische aannames zoals ground-truth-afgeleide begrenzingskaders. Deze bevindingen motiveren volledige modelaanpassing die verder gaat dan alleen promptengineering. Door fine-tuning van de modelparameters van SAM3 op 33 datasets verspreid over 10 medische beeldvormingsmodaliteiten, verwerft Medical SAM3 robuuste domeinspecifieke representaties terwijl de prompt-gestuurde flexibiliteit behouden blijft. Uitgebreide experimenten over organen, beeldvormingsmodaliteiten en dimensionaliteiten tonen consistente en significante prestatieverbeteringen, vooral in uitdagende scenario's gekenmerkt door semantische ambiguïteit, complexe morfologie en 3D-context over lange afstanden. Onze resultaten positioneren Medical SAM3 als een universeel, tekstgestuurd segmentatiefoundationmodel voor medische beeldvorming en benadrukken het belang van holistische modelaanpassing voor het bereiken van robuuste prompt-gestuurde segmentatie onder ernstige domeinverschuiving. Code en model zullen beschikbaar worden gesteld op https://github.com/AIM-Research-Lab/Medical-SAM3.

English

Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.

Medische SAM3: Een fundamenteel model voor universele promptgestuurde medische beeldsegmentatie

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation

Samenvatting

Support