MedCLIPSeg : Adaptation probabiliste vision-langage pour la segmentation d'images médicales économe en données et généralisable

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Auteurs: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Résumé

La segmentation d'images médicales reste difficile en raison du nombre limité d'annotations disponibles pour l'entraînement, de la présence de caractéristiques anatomiques ambiguës et des décalages de domaine. Bien que les modèles vision-langage comme CLIP offrent des représentations intermodales puissantes, leur potentiel pour la segmentation médicale dense guidée par le texte reste sous-exploré. Nous présentons MedCLIPSeg, une nouvelle architecture qui adapte CLIP pour une segmentation d'images médicales robuste, économe en données et consciente de l'incertitude. Notre approche exploite les embeddings CLIP au niveau des patchs via une attention intermodale probabiliste, permettant une interaction bidirectionnelle entre les tokens visuels et textuels ainsi qu'une modélisation explicite de l'incertitude prédictive. Combinée à une fonction de contraste douce au niveau des patchs qui favorise un apprentissage sémantique plus nuancé grâce à divers prompts textuels, MedCLIPSeg améliore efficacement l'efficacité des données et la généralisation inter-domaine. Des expériences approfondies sur 16 jeux de données couvrant cinq modalités d'imagerie et six organes démontrent que MedCLIPSeg surpasse les méthodes antérieures en précision, efficacité et robustesse, tout en fournissant des cartes d'incertitude interprétables qui mettent en évidence la fiabilité locale des résultats de segmentation. Ce travail démontre le potentiel de la modélisation probabiliste vision-langage pour la segmentation d'images médicales pilotée par le texte.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.