MedVisionLlama: Aproveitando as Camadas de Modelos de Linguagem Grandes Pré-Treinados para Melhorar a Segmentação de Imagens Médicas

MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation

October 3, 2024

Autores: Gurucharan Marthi Krishna Kumar, Aman Chadha, Janine Mendola, Amir Shmuel

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs), conhecidos por sua versatilidade em dados textuais, estão sendo cada vez mais explorados por seu potencial de aprimorar a segmentação de imagens médicas, uma tarefa crucial para imagens de diagnóstico precisas. Este estudo explora o aprimoramento dos Transformadores de Visão (ViTs) para segmentação de imagens médicas, integrando blocos de transformadores LLM pré-treinados. Nossa abordagem, que incorpora um bloco de transformador LLM congelado no codificador de um modelo baseado em ViT, resulta em melhorias substanciais no desempenho de segmentação em várias modalidades de imagens médicas. Propomos um Mecanismo de Atenção Híbrido que combina aprendizado de características globais e locais com um Bloco de Fusão Multi-Escala para agregar características em diferentes escalas. O modelo aprimorado apresenta ganhos significativos de desempenho, incluindo um aumento médio na pontuação Dice de 0,74 para 0,79 e melhorias em precisão, acurácia e no Índice de Jaccard. Esses resultados demonstram a eficácia dos transformadores baseados em LLM na refinação da segmentação de imagens médicas, destacando seu potencial para aumentar significativamente a precisão e a robustez do modelo. O código-fonte e nossa implementação estão disponíveis em: https://bit.ly/3zf2CVs

English

Large Language Models (LLMs), known for their versatility in textual data, are increasingly being explored for their potential to enhance medical image segmentation, a crucial task for accurate diagnostic imaging. This study explores enhancing Vision Transformers (ViTs) for medical image segmentation by integrating pre-trained LLM transformer blocks. Our approach, which incorporates a frozen LLM transformer block into the encoder of a ViT-based model, leads to substantial improvements in segmentation performance across various medical imaging modalities. We propose a Hybrid Attention Mechanism that combines global and local feature learning with a Multi-Scale Fusion Block for aggregating features across different scales. The enhanced model shows significant performance gains, including an average Dice score increase from 0.74 to 0.79 and improvements in accuracy, precision, and the Jaccard Index. These results demonstrate the effectiveness of LLM-based transformers in refining medical image segmentation, highlighting their potential to significantly boost model accuracy and robustness. The source code and our implementation are available at: https://bit.ly/3zf2CVs