MedCLIPSeg: Adaptación Probabilística de Visión y Lenguaje para la Segmentación de Imágenes Médicas Eficiente en Datos y Generalizable

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Autores: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Resumen

La segmentación de imágenes médicas sigue siendo un desafío debido a las anotaciones limitadas para el entrenamiento, las características anatómicas ambiguas y los cambios de dominio. Si bien los modelos de visión y lenguaje como CLIP ofrecen representaciones cross-modales sólidas, su potencial para la segmentación densa de imágenes médicas guiada por texto sigue sin explorarse adecuadamente. Presentamos MedCLIPSeg, un marco novedoso que adapta CLIP para una segmentación de imágenes médica robusta, eficiente en datos y consciente de la incertidumbre. Nuestro enfoque aprovecha los embeddings CLIP a nivel de parche mediante atención cross-modal probabilística, permitiendo una interacción bidireccional entre tokens de imagen y texto y un modelado explícito de la incertidumbre predictiva. Junto con una pérdida contrastiva suave a nivel de parche que fomenta un aprendizaje semántico más matizado mediante diversos prompts textuales, MedCLIPSeg mejora efectivamente la eficiencia de datos y la generalización de dominio. Experimentos exhaustivos en 16 conjuntos de datos que abarcan cinco modalidades de imagen y seis órganos demuestran que MedCLIPSeg supera a métodos anteriores en precisión, eficiencia y robustez, mientras proporciona mapas de incertidumbre interpretables que resaltan la confiabilidad local de los resultados de segmentación. Este trabajo demuestra el potencial del modelado probabilístico de visión y lenguaje para la segmentación de imágenes médicas impulsada por texto.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.