MedCLIPSeg: Вероятностная адаптация «визуальный язык-сегментация» для эффективного и обобщаемого сегментирования медицинских изображений с использованием ограниченных данных

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

February 23, 2026

Авторы: Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

cs.AI

Аннотация

Сегментация медицинских изображений остается сложной задачей из-за ограниченного количества аннотаций для обучения, неоднозначности анатомических особенностей и междоменных сдвигов. Хотя визуально-языковые модели, такие как CLIP, предлагают мощные кросс-модальные представления, их потенциал для плотной, управляемой текстом сегментации медицинских изображений остается недостаточно изученным. Мы представляем MedCLIPSeg — новую архитектуру, адаптирующую CLIP для надежной, ресурсоэффективной и учитывающей неопределенность сегментации медицинских изображений. Наш подход использует CLIP-эмбеддинги на уровне патчей посредством вероятностного кросс-модального внимания, обеспечивая двунаправленное взаимодействие между изображением и текстовыми токенами и явное моделирование прогностической неопределенности. В сочетании с контрастивной функцией потерь на уровне патчей, которая способствует более тонкому семантическому обучению на основе разнообразных текстовых промптов, MedCLIPSeg эффективно повышает ресурсоэффективность и способность к обобщению между доменами. Масштабные эксперименты на 16 наборах данных, охватывающих пять модальностей визуализации и шесть органов, демонстрируют, что MedCLIPSeg превосходит предыдущие методы по точности, эффективности и надежности, одновременно предоставляя интерпретируемые карты неопределенности, которые показывают локальную надежность результатов сегментации. Данная работа демонстрирует потенциал вероятностного визуально-языкового моделирования для текстово-управляемой сегментации медицинских изображений.

English

Medical image segmentation remains challenging due to limited annotations for training, ambiguous anatomical features, and domain shifts. While vision-language models such as CLIP offer strong cross-modal representations, their potential for dense, text-guided medical image segmentation remains underexplored. We present MedCLIPSeg, a novel framework that adapts CLIP for robust, data-efficient, and uncertainty-aware medical image segmentation. Our approach leverages patch-level CLIP embeddings through probabilistic cross-modal attention, enabling bidirectional interaction between image and text tokens and explicit modeling of predictive uncertainty. Together with a soft patch-level contrastive loss that encourages more nuanced semantic learning across diverse textual prompts, MedCLIPSeg effectively improves data efficiency and domain generalizability. Extensive experiments across 16 datasets spanning five imaging modalities and six organs demonstrate that MedCLIPSeg outperforms prior methods in accuracy, efficiency, and robustness, while providing interpretable uncertainty maps that highlight local reliability of segmentation results. This work demonstrates the potential of probabilistic vision-language modeling for text-driven medical image segmentation.