MedCLIPSeg: Adaptação Probabilística Visão-Linguagem para Segmentação de Imagens Médicas Eficiente em Dados e Generalizável

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Autores: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Resumo

A segmentação de imagens médicas continua a ser um desafio devido à escassez de anotações para treinamento, características anatômicas ambíguas e variações de domínio. Embora modelos de visão e linguagem, como o CLIP, ofereçam representações cruzadas robustas, o seu potencial para a segmentação densa de imagens médicas guiada por texto permanece pouco explorado. Apresentamos o MedCLIPSeg, uma estrutura inovadora que adapta o CLIP para uma segmentação de imagens médica robusta, eficiente em dados e consciente da incerteza. Nossa abordagem aproveita os embeddings do CLIP a nível de *patch* por meio de atenção cruzada probabilística, permitindo uma interação bidirecional entre os *tokens* de imagem e texto e uma modelagem explícita da incerteza preditiva. Juntamente com uma função de perda contrastiva suave a nível de *patch* que incentiva uma aprendizagem semântica mais refinada através de diversos *prompts* textuais, o MedCLIPSeg melhora eficazmente a eficiência de dados e a generalização de domínio. Experimentos extensos em 16 conjuntos de dados, abrangendo cinco modalidades de imagem e seis órgãos, demonstram que o MedCLIPSeg supera métodos anteriores em precisão, eficiência e robustez, fornecendo simultaneamente mapas de incerteza interpretáveis que destacam a confiabilidade local dos resultados de segmentação. Este trabalho demonstra o potencial da modelagem probabilística de visão e linguagem para a segmentação de imagens médicas orientada por texto.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.