MedCLIPSeg: Probabilistische Vision-Language-Adaption für dateneffiziente und generalisierbare medizinische Bildsegmentierung
MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation
February 23, 2026
Autoren: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz
cs.AI
Zusammenfassung
Die medizinische Bildsegmentierung bleibt aufgrund begrenzter Anmerkungen für das Training, unklarer anatomischer Merkmale und Domänenverschiebungen eine Herausforderung. Während Vision-Language-Modelle wie CLIP starke cross-modale Repräsentationen bieten, ist ihr Potenzial für eine dichte, textgesteuerte medizinische Bildsegmentierung noch unzureichend erforscht. Wir stellen MedCLIPSeg vor, einen neuartigen Rahmen, der CLIP für eine robuste, dateneffiziente und unsicherheitsbewusste medizinische Bildsegmentierung adaptiert. Unser Ansatz nutzt Patch-level CLIP-Embeddings durch probabilistische cross-modale Aufmerksamkeit, was eine bidirektionale Interaktion zwischen Bild- und Text-Tokens sowie eine explizite Modellierung von prädiktiver Unsicherheit ermöglicht. Zusammen mit einem weichen Patch-level kontrastiven Verlust, der eine differenziertere semantische Lernfähigkeit über verschiedene Text-Prompts hinweg fördert, verbessert MedCLIPSeg effektiv die Dateneffizienz und Domänenverallgemeinerbarkeit. Umfangreiche Experimente über 16 Datensätze, die fünf Bildgebungsmodalitäten und sechs Organe abdecken, zeigen, dass MedCLIPSeg bisherige Methoden in Genauigkeit, Effizienz und Robustheit übertrifft und gleichzeitig interpretierbare Unsicherheitskarten liefert, die die lokale Zuverlässigkeit der Segmentierungsergebnisse hervorheben. Diese Arbeit demonstriert das Potenzial des probabilistischen Vision-Language-Modellierens für die textgesteuerte medizinische Bildsegmentierung.
English
Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.