Унификация сегментации в микроскопии с использованием мультимодальной крупноязыковой модели

Unifying Segment Anything in Microscopy with Multimodal Large Language Model

May 16, 2025

Авторы: Manyu Li, Ruian He, Zixian Zhang, Weimin Tan, Bo Yan

cs.AI

Аннотация

Точная сегментация областей интереса в биомедицинских изображениях имеет существенное значение для анализа изображений. Хотя несколько базовых моделей для биомедицинской сегментации в настоящее время демонстрируют отличные результаты на определенных наборах данных, они, как правило, показывают неоптимальную производительность на данных из невидимых доменов. Мы связываем этот недостаток с отсутствием знаний о взаимодействии зрения и языка перед сегментацией. Мультимодальные большие языковые модели (MLLMs) привносят выдающиеся способности к пониманию и рассуждению в мультимодальные задачи, что вдохновляет нас использовать MLLMs для внедрения знаний о взаимодействии зрения и языка (VLK), тем самым позволяя моделям зрения демонстрировать превосходные обобщающие способности на кросс-доменных наборах данных. В данной статье мы предлагаем использовать MLLMs для обучения SAM работе с микроскопическими данными из различных доменов, объединяя подход "Сегментируй что угодно" в микроскопии, названный uLLSAM. В частности, мы предлагаем модуль семантического выравнивания зрения и языка (VLSA), который внедряет VLK в модель "Сегментируй что угодно" (SAM). Мы обнаружили, что после получения глобальных подсказок VLK производительность SAM значительно улучшается, но наблюдаются недостатки в восприятии границ контуров. Поэтому мы дополнительно предлагаем семантическую регуляризацию границ (SBR) для улучшения работы SAM. Наш метод демонстрирует улучшение на 7,71% по метрике Dice и на 12,10% по метрике SA на 9 наборах данных микроскопии из одного домена, достигая наилучших результатов. Наш метод также показывает улучшение на 6,79% по метрике Dice и на 10,08% по метрике SA на 10 наборах данных из других доменов, демонстрируя сильные обобщающие способности. Код доступен по адресу https://github.com/ieellee/uLLSAM.

English

Accurate segmentation of regions of interest in biomedical images holds substantial value in image analysis. Although several foundation models for biomedical segmentation have currently achieved excellent performance on certain datasets, they typically demonstrate sub-optimal performance on unseen domain data. We owe the deficiency to lack of vision-language knowledge before segmentation. Multimodal Large Language Models (MLLMs) bring outstanding understanding and reasoning capabilities to multimodal tasks, which inspires us to leverage MLLMs to inject Vision-Language Knowledge (VLK), thereby enabling vision models to demonstrate superior generalization capabilities on cross-domain datasets. In this paper, we propose using MLLMs to guide SAM in learning microscopy crose-domain data, unifying Segment Anything in Microscopy, named uLLSAM. Specifically, we propose the Vision-Language Semantic Alignment (VLSA) module, which injects VLK into Segment Anything Model (SAM). We find that after SAM receives global VLK prompts, its performance improves significantly, but there are deficiencies in boundary contour perception. Therefore, we further propose Semantic Boundary Regularization (SBR) to prompt SAM. Our method achieves performance improvements of 7.71% in Dice and 12.10% in SA across 9 in-domain microscopy datasets, achieving state-of-the-art performance. Our method also demonstrates improvements of 6.79% in Dice and 10.08% in SA across 10 out-ofdomain datasets, exhibiting strong generalization capabilities. Code is available at https://github.com/ieellee/uLLSAM.