MedVisionLlama: Nutzung vortrainierter großer Sprachmodellschichten zur Verbesserung der Segmentierung von medizinischen Bildern

MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation

October 3, 2024

Autoren: Gurucharan Marthi Krishna Kumar, Aman Chadha, Janine Mendola, Amir Shmuel

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), bekannt für ihre Vielseitigkeit in Textdaten, werden zunehmend auf ihr Potenzial zur Verbesserung der medizinischen Bildsegmentierung untersucht, einer entscheidenden Aufgabe für präzise diagnostische Bildgebung. Diese Studie untersucht die Verbesserung von Vision-Transformern (ViTs) für die medizinische Bildsegmentierung durch die Integration von vorab trainierten LLM-Transformerblöcken. Unser Ansatz, der einen eingefrorenen LLM-Transformerblock in den Encoder eines auf ViT basierenden Modells integriert, führt zu erheblichen Verbesserungen der Segmentierungsleistung bei verschiedenen medizinischen Bildgebungsmodalitäten. Wir schlagen einen Hybrid-Aufmerksamkeitsmechanismus vor, der globales und lokales Merkmalslernen mit einem Multi-Scale Fusion Block zur Aggregation von Merkmalen über verschiedene Skalen kombiniert. Das verbesserte Modell zeigt signifikante Leistungssteigerungen, darunter eine durchschnittliche Dice-Score-Erhöhung von 0,74 auf 0,79 sowie Verbesserungen bei Genauigkeit, Präzision und dem Jaccard-Index. Diese Ergebnisse zeigen die Wirksamkeit von LLM-basierten Transformern bei der Verfeinerung der medizinischen Bildsegmentierung auf und heben ihr Potenzial hervor, die Modellgenauigkeit und Robustheit signifikant zu steigern. Der Quellcode und unsere Implementierung sind verfügbar unter: https://bit.ly/3zf2CVs

English

Large Language Models (LLMs), known for their versatility in textual data, are increasingly being explored for their potential to enhance medical image segmentation, a crucial task for accurate diagnostic imaging. This study explores enhancing Vision Transformers (ViTs) for medical image segmentation by integrating pre-trained LLM transformer blocks. Our approach, which incorporates a frozen LLM transformer block into the encoder of a ViT-based model, leads to substantial improvements in segmentation performance across various medical imaging modalities. We propose a Hybrid Attention Mechanism that combines global and local feature learning with a Multi-Scale Fusion Block for aggregating features across different scales. The enhanced model shows significant performance gains, including an average Dice score increase from 0.74 to 0.79 and improvements in accuracy, precision, and the Jaccard Index. These results demonstrate the effectiveness of LLM-based transformers in refining medical image segmentation, highlighting their potential to significantly boost model accuracy and robustness. The source code and our implementation are available at: https://bit.ly/3zf2CVs