Vereinheitlichung von Segment Anything in der Mikroskopie mit multimodalen großen Sprachmodellen

Unifying Segment Anything in Microscopy with Multimodal Large Language Model

May 16, 2025

Autoren: Manyu Li, Ruian He, Zixian Zhang, Weimin Tan, Bo Yan

cs.AI

Zusammenfassung

Die präzise Segmentierung von Regionen von Interesse in biomedizinischen Bildern hat einen erheblichen Wert in der Bildanalyse. Obwohl mehrere Foundation-Modelle für die biomedizinische Segmentierung derzeit hervorragende Leistungen auf bestimmten Datensätzen erzielen, zeigen sie typischerweise suboptimale Leistungen auf Daten aus unbekannten Domänen. Wir führen diesen Mangel auf den fehlenden Vision-Language-Wissenshintergrund vor der Segmentierung zurück. Multimodale Large Language Models (MLLMs) bringen herausragende Verständnis- und Schlussfolgerungsfähigkeiten für multimodale Aufgaben mit sich, was uns dazu inspiriert, MLLMs zu nutzen, um Vision-Language-Knowledge (VLK) einzubringen und dadurch Vision-Modelle zu befähigen, überlegene Generalisierungsfähigkeiten auf domänenübergreifenden Datensätzen zu demonstrieren. In diesem Artikel schlagen wir vor, MLLMs zu verwenden, um SAM beim Lernen von mikroskopischen domänenübergreifenden Daten zu leiten, wodurch Segment Anything in Microscopy vereinheitlicht wird, genannt uLLSAM. Konkret schlagen wir das Vision-Language Semantic Alignment (VLSA)-Modul vor, das VLK in das Segment Anything Model (SAM) einbringt. Wir stellen fest, dass sich die Leistung von SAM nach dem Erhalt globaler VLK-Prompts deutlich verbessert, es jedoch Defizite in der Wahrnehmung von Grenzkonturen gibt. Daher schlagen wir zusätzlich Semantic Boundary Regularization (SBR) vor, um SAM zu unterstützen. Unsere Methode erzielt Leistungssteigerungen von 7,71 % in Dice und 12,10 % in SA über 9 domäneninterne mikroskopische Datensätze und erreicht damit state-of-the-art Leistungen. Unsere Methode zeigt auch Verbesserungen von 6,79 % in Dice und 10,08 % in SA über 10 domänenübergreifende Datensätze und demonstriert starke Generalisierungsfähigkeiten. Der Code ist verfügbar unter https://github.com/ieellee/uLLSAM.

English

Accurate segmentation of regions of interest in biomedical images holds substantial value in image analysis. Although several foundation models for biomedical segmentation have currently achieved excellent performance on certain datasets, they typically demonstrate sub-optimal performance on unseen domain data. We owe the deficiency to lack of vision-language knowledge before segmentation. Multimodal Large Language Models (MLLMs) bring outstanding understanding and reasoning capabilities to multimodal tasks, which inspires us to leverage MLLMs to inject Vision-Language Knowledge (VLK), thereby enabling vision models to demonstrate superior generalization capabilities on cross-domain datasets. In this paper, we propose using MLLMs to guide SAM in learning microscopy crose-domain data, unifying Segment Anything in Microscopy, named uLLSAM. Specifically, we propose the Vision-Language Semantic Alignment (VLSA) module, which injects VLK into Segment Anything Model (SAM). We find that after SAM receives global VLK prompts, its performance improves significantly, but there are deficiencies in boundary contour perception. Therefore, we further propose Semantic Boundary Regularization (SBR) to prompt SAM. Our method achieves performance improvements of 7.71% in Dice and 12.10% in SA across 9 in-domain microscopy datasets, achieving state-of-the-art performance. Our method also demonstrates improvements of 6.79% in Dice and 10.08% in SA across 10 out-ofdomain datasets, exhibiting strong generalization capabilities. Code is available at https://github.com/ieellee/uLLSAM.