SAM3 Médico: Um Modelo de Base para Segmentação Universal de Imagens Médicas Orientada por Prompts
Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation
January 15, 2026
Autores: Chongcong Jiang, Tianxingjian Ding, Chuhan Song, Jiachen Tu, Ziyang Yan, Yihua Shao, Zhenyi Wang, Yuzhang Shang, Tianyu Han, Yu Tian
cs.AI
Resumo
Modelos de segmentação fundamentais acionáveis por prompts, como o SAM3, demonstraram fortes capacidades de generalização por meio de prompts interativos e baseados em conceitos. No entanto, sua aplicabilidade direta à segmentação de imagens médicas permanece limitada por severas diferenças de domínio, a ausência de prompts espaciais privilegiados e a necessidade de raciocínio sobre estruturas anatômicas e volumétricas complexas. Apresentamos aqui o Medical SAM3, um modelo fundamental para segmentação universal de imagens médicas acionada por prompt, obtido através do ajuste fino completo do SAM3 em conjuntos de dados de imagens médicas 2D e 3D em larga escala e heterogêneos, com máscaras de segmentação e prompts de texto emparelhados. Através de uma análise sistemática do SAM3 padrão, observamos que seu desempenho se degrada substancialmente em dados médicos, com sua aparente competitividade dependendo fortemente de prévias geométricas robustas, como caixas delimitadoras derivadas da verdade fundamental. Essas descobertas motivam uma adaptação completa do modelo, indo além do mero ajuste de prompts. Ao ajustar os parâmetros do modelo SAM3 em 33 conjuntos de dados abrangendo 10 modalidades de imagem médica, o Medical SAM3 adquire representações robustas específicas do domínio, preservando a flexibilidade de ser acionado por prompts. Experimentos extensivos envolvendo órgãos, modalidades de imagem e dimensionalidades demonstram ganhos de desempenho consistentes e significativos, particularmente em cenários desafiadores caracterizados por ambiguidade semântica, morfologia complexa e contexto 3D de longo alcance. Nossos resultados estabelecem o Medical SAM3 como um modelo fundamental de segmentação universal e guiado por texto para imagens médicas e destacam a importância da adaptação holística do modelo para alcançar uma segmentação robusta acionada por prompt sob severa diferença de domínio. O código e o modelo estarão disponíveis em https://github.com/AIM-Research-Lab/Medical-SAM3.
English
Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.