ChatPaper.aiChatPaper

Unificazione di Segment Anything nella Microscopia con Modelli Linguistici Multimodali di Grande Scala

Unifying Segment Anything in Microscopy with Multimodal Large Language Model

May 16, 2025
Autori: Manyu Li, Ruian He, Zixian Zhang, Weimin Tan, Bo Yan
cs.AI

Abstract

La segmentazione accurata delle regioni di interesse nelle immagini biomediche riveste un valore significativo nell'analisi delle immagini. Sebbene diversi modelli di base per la segmentazione biomedica abbiano attualmente raggiunto prestazioni eccellenti su determinati dataset, essi dimostrano tipicamente prestazioni sub-ottimali su dati provenienti da domini non visti. Attribuiamo questa carenza alla mancanza di conoscenza visione-linguaggio prima della segmentazione. I Modelli Linguistici Multimodali di Grande Dimensione (MLLMs) portano capacità eccezionali di comprensione e ragionamento ai compiti multimodali, il che ci ispira a sfruttare gli MLLMs per iniettare Conoscenza Visione-Linguaggio (VLK), consentendo così ai modelli di visione di dimostrare capacità di generalizzazione superiori su dataset cross-dominio. In questo articolo, proponiamo di utilizzare gli MLLMs per guidare SAM nell'apprendimento di dati microscopici cross-dominio, unificando Segment Anything in Microscopy, denominato uLLSAM. Nello specifico, proponiamo il modulo di Allineamento Semantico Visione-Linguaggio (VLSA), che inietta VLK nel Segment Anything Model (SAM). Abbiamo osservato che dopo che SAM riceve prompt globali di VLK, le sue prestazioni migliorano significativamente, ma ci sono carenze nella percezione dei contorni dei confini. Pertanto, proponiamo ulteriormente la Regolarizzazione dei Confini Semantici (SBR) per promptare SAM. Il nostro metodo raggiunge miglioramenti delle prestazioni del 7,71% in Dice e del 12,10% in SA su 9 dataset microscopici in-dominio, raggiungendo prestazioni all'avanguardia. Il nostro metodo dimostra anche miglioramenti del 6,79% in Dice e del 10,08% in SA su 10 dataset out-of-domain, mostrando forti capacità di generalizzazione. Il codice è disponibile all'indirizzo https://github.com/ieellee/uLLSAM.
English
Accurate segmentation of regions of interest in biomedical images holds substantial value in image analysis. Although several foundation models for biomedical segmentation have currently achieved excellent performance on certain datasets, they typically demonstrate sub-optimal performance on unseen domain data. We owe the deficiency to lack of vision-language knowledge before segmentation. Multimodal Large Language Models (MLLMs) bring outstanding understanding and reasoning capabilities to multimodal tasks, which inspires us to leverage MLLMs to inject Vision-Language Knowledge (VLK), thereby enabling vision models to demonstrate superior generalization capabilities on cross-domain datasets. In this paper, we propose using MLLMs to guide SAM in learning microscopy crose-domain data, unifying Segment Anything in Microscopy, named uLLSAM. Specifically, we propose the Vision-Language Semantic Alignment (VLSA) module, which injects VLK into Segment Anything Model (SAM). We find that after SAM receives global VLK prompts, its performance improves significantly, but there are deficiencies in boundary contour perception. Therefore, we further propose Semantic Boundary Regularization (SBR) to prompt SAM. Our method achieves performance improvements of 7.71% in Dice and 12.10% in SA across 9 in-domain microscopy datasets, achieving state-of-the-art performance. Our method also demonstrates improvements of 6.79% in Dice and 10.08% in SA across 10 out-ofdomain datasets, exhibiting strong generalization capabilities. Code is available at https://github.com/ieellee/uLLSAM.
PDF22May 19, 2025