SAM3 Médico: Un Modelo Fundacional para la Segmentación Universal de Imágenes Médicas Basada en Indicaciones

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation

January 15, 2026

Autores: Chongcong Jiang, Tianxingjian Ding, Chuhan Song, Jiachen Tu, Ziyang Yan, Yihua Shao, Zhenyi Wang, Yuzhang Shang, Tianyu Han, Yu Tian

cs.AI

Resumen

Los modelos fundacionales de segmentación con capacidad de interacción mediante prompts, como SAM3, han demostrado una fuerte capacidad de generalización a través de indicaciones interactivas y basadas en conceptos. Sin embargo, su aplicabilidad directa a la segmentación de imágenes médicas sigue siendo limitada debido a severos cambios de dominio, la ausencia de indicaciones espaciales privilegiadas y la necesidad de razonar sobre estructuras anatómicas y volumétricas complejas. Aquí presentamos Medical SAM3, un modelo fundacional para la segmentación universal de imágenes médicas guiada por prompts, obtenido mediante el ajuste fino completo de SAM3 en conjuntos de datos de imágenes médicas 2D y 3D a gran escala y heterogéneos, con máscaras de segmentación emparejadas y prompts de texto. Mediante un análisis sistemático de SAM3 original, observamos que su rendimiento se degrada sustancialmente en datos médicos, dependiendo su aparente competitividad en gran medida de fuertes priores geométricos, como las cajas delimitadoras derivadas de la verdad de terreno. Estos hallazgos motivan una adaptación completa del modelo que va más allá de la simple ingeniería de prompts. Al ajustar los parámetros del modelo SAM3 en 33 conjuntos de datos que abarcan 10 modalidades de imagen médica, Medical SAM3 adquiere representaciones robustas específicas del dominio mientras preserva la flexibilidad impulsada por prompts. Experimentos exhaustivos en órganos, modalidades de imagen y dimensionalidades demuestran ganancias de rendimiento consistentes y significativas, particularmente en escenarios desafiantes caracterizados por ambigüedad semántica, morfología compleja y contexto 3D de largo alcance. Nuestros resultados establecen a Medical SAM3 como un modelo fundacional de segmentación universal y guiado por texto para imágenes médicas, y destacan la importancia de la adaptación holística del modelo para lograr una segmentación robusta impulsada por prompts bajo un severo cambio de dominio. El código y el modelo estarán disponibles en https://github.com/AIM-Research-Lab/Medical-SAM3.

English

Promptable segmentation foundation models such as SAM3 have demonstrated strong generalization capabilities through interactive and concept-based prompting. However, their direct applicability to medical image segmentation remains limited by severe domain shifts, the absence of privileged spatial prompts, and the need to reason over complex anatomical and volumetric structures. Here we present Medical SAM3, a foundation model for universal prompt-driven medical image segmentation, obtained by fully fine-tuning SAM3 on large-scale, heterogeneous 2D and 3D medical imaging datasets with paired segmentation masks and text prompts. Through a systematic analysis of vanilla SAM3, we observe that its performance degrades substantially on medical data, with its apparent competitiveness largely relying on strong geometric priors such as ground-truth-derived bounding boxes. These findings motivate full model adaptation beyond prompt engineering alone. By fine-tuning SAM3's model parameters on 33 datasets spanning 10 medical imaging modalities, Medical SAM3 acquires robust domain-specific representations while preserving prompt-driven flexibility. Extensive experiments across organs, imaging modalities, and dimensionalities demonstrate consistent and significant performance gains, particularly in challenging scenarios characterized by semantic ambiguity, complex morphology, and long-range 3D context. Our results establish Medical SAM3 as a universal, text-guided segmentation foundation model for medical imaging and highlight the importance of holistic model adaptation for achieving robust prompt-driven segmentation under severe domain shift. Code and model will be made available at https://github.com/AIM-Research-Lab/Medical-SAM3.