SAM3 Médical : Un modèle fondateur pour la segmentation universelle d'images médicales par invite

papers.abstract

Les modèles de segmentation fondamentale à invites comme SAM3 ont démontré d'excellentes capacités de généralisation grâce à des invites interactives et conceptuelles. Cependant, leur applicabilité directe à la segmentation d'images médicales reste limitée par d'importants décalages de domaine, l'absence de repères spatiaux privilégiés et la nécessité de raisonner sur des structures anatomiques et volumiques complexes. Nous présentons ici Medical SAM3, un modèle fondamental pour la segmentation médicale universelle pilotée par invite, obtenu en affinant complètement SAM3 sur de vastes ensembles de données d'imagerie médicale 2D et 3D hétérogènes, associés à des masques de segmentation et des invites textuelles. Par une analyse systématique de SAM3 standard, nous observons que ses performances se dégradent considérablement sur les données médicales, sa compétitivité apparente reposant largement sur de forts prérequis géométriques tels que des boîtes englobantes dérivées de la vérité terrain. Ces constatations motivent une adaptation complète du modèle au-delà du simple ingénierie des invites. En affinant les paramètres de SAM3 sur 33 ensembles de données couvrant 10 modalités d'imagerie médicale, Medical SAM3 acquiert des représentations robustes spécifiques au domaine tout en préservant la flexibilité pilotée par invite. Des expériences approfondies sur divers organes, modalités d'imagerie et dimensionalités démontrent des gains de performance constants et significatifs, particulièrement dans des scénarios difficiles caractérisés par une ambiguïté sémantique, une morphologie complexe et un contexte 3D à longue portée. Nos résultats établissent Medical SAM3 comme un modèle fondamental de segmentation universel guidé par texte pour l'imagerie médicale et soulignent l'importance d'une adaptation holistique du modèle pour obtenir une segmentation robuste pilotée par invite sous un décalage de domaine sévère. Le code et le modèle seront disponibles à l'adresse https://github.com/AIM-Research-Lab/Medical-SAM3.

English

Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.

SAM3 Médical : Un modèle fondateur pour la segmentation universelle d'images médicales par invite

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation

papers.abstract

Support