MedCLIPSeg: Adattamento Probabilistico Visione-Linguaggio per la Segmentazione di Immagini Mediche Generalizzabile ed Efficiente nei Dati

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Autori: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Abstract

La segmentazione di immagini mediche rimane una sfida a causa delle annotazioni limitate per l'addestramento, delle caratteristiche anatomiche ambigue e degli shift di dominio. Sebbene modelli visione-linguaggio come CLIP offrano rappresentazioni cross-modali solide, il loro potenziale per una segmentazione densa di immagini mediche guidata da testo rimane poco esplorato. Presentiamo MedCLIPSeg, un framework innovativo che adatta CLIP per una segmentazione di immagini mediche robusta, efficiente dal punto di vista dei dati e consapevole dell'incertezza. Il nostro approccio sfrutta gli embedding CLIP a livello di patch attraverso un'attenzione cross-modale probabilistica, abilitando un'interazione bidirezionale tra i token di immagine e testo e una modellazione esplicita dell'incertezza predittiva. Insieme a una loss contrastiva soft a livello di patch che incoraggia un apprendimento semantico più sfumato attraverso diversi prompt testuali, MedCLIPSeg migliora efficacemente l'efficienza dei dati e la generalizzabilità di dominio. Esperimenti estesi su 16 dataset che coprono cinque modalità di imaging e sei organi dimostrano che MedCLIPSeg supera i metodi precedenti in accuratezza, efficienza e robustezza, fornendo al contempo mappe di incertezza interpretabili che evidenziano l'affidabilità locale dei risultati di segmentazione. Questo lavoro dimostra il potenziale della modellazione probabilistica visione-linguaggio per la segmentazione di immagini mediche guidata da testo.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.