MedCLIPSeg: Probabilistische Visie-Taal-aanpassing voor Data-efficiënte en Generaliseerbare Medische Beeldsegmentatie

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Auteurs: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Samenvatting

Medische beeldsegmentatie blijft een uitdaging vanwege beperkte annotaties voor training, ambiguïteit van anatomische kenmerken en domeinverschuivingen. Hoewel vision-language modellen zoals CLIP sterke cross-modale representaties bieden, blijft hun potentieel voor dichte, tekstgestuurde medische beeldsegmentatie onderbelicht. Wij presenteren MedCLIPSeg, een nieuw framework dat CLIP aanpast voor robuuste, data-efficiënte en onzekerheidsbewuste medische beeldsegmentatie. Onze aanpak benut patch-level CLIP-embeddingen via probabilistische cross-modale aandacht, wat bidirectionele interactie tussen beeld- en teksttokens en expliciete modellering van voorspellende onzekerheid mogelijk maakt. In combinatie met een zachte patch-level contrastieve loss die genuanceerd semantisch leren over diverse tekstuele prompts bevordert, verbetert MedCLIPSeg effectief data-efficiëntie en domeingeneraliseerbaarheid. Uitgebreide experimenten over 16 datasets van vijf beeldvormingstechnieken en zes organen tonen aan dat MedCLIPSeg eerdere methoden overtreft in nauwkeurigheid, efficiëntie en robuustheid, terwijl het interpreteerbare onzekerheidskaarten biedt die de lokale betrouwbaarheid van segmentatieresultaten benadrukken. Dit werk toont het potentieel van probabilistische vision-language modellering voor tekstgestuurde medische beeldsegmentatie.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.