MedVisionLlama: Sfruttare i Livelli di Modelli Linguistici Pre-Addestrati di Grandi Dimensioni per Migliorare la Segmentazione delle Immagini Mediche
MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation
October 3, 2024
Autori: Gurucharan Marthi Krishna Kumar, Aman Chadha, Janine Mendola, Amir Shmuel
cs.AI
Abstract
I Grandi Modelli Linguistici (LLM), noti per la loro versatilità nei dati testuali, stanno sempre più venendo esplorati per il loro potenziale nel migliorare la segmentazione delle immagini mediche, un compito cruciale per la diagnostica accurata. Questo studio esplora il potenziamento dei Vision Transformers (ViT) per la segmentazione delle immagini mediche integrando blocchi trasformatore LLM preaddestrati. Il nostro approccio, che incorpora un blocco trasformatore LLM congelato nell'encoder di un modello basato su ViT, porta a miglioramenti sostanziali nelle prestazioni di segmentazione attraverso varie modalità di imaging medico. Proponiamo un Meccanismo di Attenzione Ibrida che combina l'apprendimento delle caratteristiche globali e locali con un Blocco di Fusione Multi-Scala per aggregare le caratteristiche attraverso diverse scale. Il modello potenziato mostra significativi miglioramenti delle prestazioni, inclusa un aumento del punteggio Dice medio da 0,74 a 0,79 e miglioramenti in termini di accuratezza, precisione e Indice di Jaccard. Questi risultati dimostrano l'efficacia dei trasformatori basati su LLM nel perfezionare la segmentazione delle immagini mediche, evidenziando il loro potenziale nel migliorare significativamente l'accuratezza e la robustezza del modello. Il codice sorgente e la nostra implementazione sono disponibili su: https://bit.ly/3zf2CVs
English
Large Language Models (LLMs), known for their versatility in textual data,
are increasingly being explored for their potential to enhance medical image
segmentation, a crucial task for accurate diagnostic imaging. This study
explores enhancing Vision Transformers (ViTs) for medical image segmentation by
integrating pre-trained LLM transformer blocks. Our approach, which
incorporates a frozen LLM transformer block into the encoder of a ViT-based
model, leads to substantial improvements in segmentation performance across
various medical imaging modalities. We propose a Hybrid Attention Mechanism
that combines global and local feature learning with a Multi-Scale Fusion Block
for aggregating features across different scales. The enhanced model shows
significant performance gains, including an average Dice score increase from
0.74 to 0.79 and improvements in accuracy, precision, and the Jaccard Index.
These results demonstrate the effectiveness of LLM-based transformers in
refining medical image segmentation, highlighting their potential to
significantly boost model accuracy and robustness. The source code and our
implementation are available at: https://bit.ly/3zf2CVs