Unification de Segment Anything en Microscopie avec un Modèle de Langage Multimodal à Grande Échelle

Unifying Segment Anything in Microscopy with Multimodal Large Language Model

May 16, 2025

Auteurs: Manyu Li, Ruian He, Zixian Zhang, Weimin Tan, Bo Yan

cs.AI

Résumé

La segmentation précise des régions d'intérêt dans les images biomédicales revêt une importance considérable dans l'analyse d'images. Bien que plusieurs modèles de base pour la segmentation biomédicale aient actuellement atteint des performances excellentes sur certains ensembles de données, ils montrent généralement des performances sous-optimales sur des données de domaines non vus. Nous attribuons cette lacune à l'absence de connaissances vision-langage avant la segmentation. Les modèles de langage multimodaux de grande envergure (MLLMs) apportent des capacités exceptionnelles de compréhension et de raisonnement aux tâches multimodales, ce qui nous inspire à exploiter les MLLMs pour injecter des connaissances vision-langage (VLK), permettant ainsi aux modèles de vision de démontrer des capacités de généralisation supérieures sur des ensembles de données inter-domaines. Dans cet article, nous proposons d'utiliser les MLLMs pour guider SAM dans l'apprentissage de données microscopiques inter-domaines, unifiant Segment Anything in Microscopy, nommé uLLSAM. Plus précisément, nous proposons le module d'alignement sémantique vision-langage (VLSA), qui injecte des VLK dans le modèle Segment Anything (SAM). Nous constatons qu'après avoir reçu des prompts globaux de VLK, les performances de SAM s'améliorent significativement, mais il existe des lacunes dans la perception des contours des limites. Par conséquent, nous proposons en outre la régularisation des limites sémantiques (SBR) pour guider SAM. Notre méthode obtient des améliorations de performances de 7,71 % en Dice et de 12,10 % en SA sur 9 ensembles de données microscopiques intra-domaines, atteignant des performances de pointe. Notre méthode démontre également des améliorations de 6,79 % en Dice et de 10,08 % en SA sur 10 ensembles de données extra-domaines, montrant de solides capacités de généralisation. Le code est disponible à l'adresse https://github.com/ieellee/uLLSAM.

English

Accurate segmentation of regions of interest in biomedical images holds substantial value in image analysis. Although several foundation models for biomedical segmentation have currently achieved excellent performance on certain datasets, they typically demonstrate sub-optimal performance on unseen domain data. We owe the deficiency to lack of vision-language knowledge before segmentation. Multimodal Large Language Models (MLLMs) bring outstanding understanding and reasoning capabilities to multimodal tasks, which inspires us to leverage MLLMs to inject Vision-Language Knowledge (VLK), thereby enabling vision models to demonstrate superior generalization capabilities on cross-domain datasets. In this paper, we propose using MLLMs to guide SAM in learning microscopy crose-domain data, unifying Segment Anything in Microscopy, named uLLSAM. Specifically, we propose the Vision-Language Semantic Alignment (VLSA) module, which injects VLK into Segment Anything Model (SAM). We find that after SAM receives global VLK prompts, its performance improves significantly, but there are deficiencies in boundary contour perception. Therefore, we further propose Semantic Boundary Regularization (SBR) to prompt SAM. Our method achieves performance improvements of 7.71% in Dice and 12.10% in SA across 9 in-domain microscopy datasets, achieving state-of-the-art performance. Our method also demonstrates improvements of 6.79% in Dice and 10.08% in SA across 10 out-ofdomain datasets, exhibiting strong generalization capabilities. Code is available at https://github.com/ieellee/uLLSAM.