MedVisionLlama: Использование слоев предварительно обученных больших языковых моделей для улучшения сегментации медицинских изображений

MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation

October 3, 2024

Авторы: Gurucharan Marthi Krishna Kumar, Aman Chadha, Janine Mendola, Amir Shmuel

cs.AI

Аннотация

Большие языковые модели (LLM), известные своей универсальностью в текстовых данных, все чаще исследуются на предмет их потенциала для улучшения сегментации медицинских изображений, важной задачи для точной диагностической визуализации. В данном исследовании исследуется улучшение Vision Transformers (ViTs) для сегментации медицинских изображений путем интеграции предварительно обученных блоков трансформера LLM. Наш подход, который включает замороженный блок трансформера LLM в кодер модели на основе ViT, приводит к существенному улучшению производительности сегментации на различных модальностях медицинского изображения. Мы предлагаем Гибридный Механизм Внимания, который объединяет глобальное и локальное обучение признаков с Блоком Мульти-Масштабного Слияния для агрегирования признаков на разных масштабах. Улучшенная модель показывает значительный прирост производительности, включая увеличение среднего значения коэффициента Дайса с 0,74 до 0,79 и улучшения в точности, полноте и Индексе Жаккара. Эти результаты демонстрируют эффективность трансформеров на основе LLM в уточнении сегментации медицинских изображений, подчеркивая их потенциал для значительного повышения точности и надежности модели. Исходный код и наша реализация доступны по ссылке: https://bit.ly/3zf2CVs

English

Large Language Models (LLMs), known for their versatility in textual data, are increasingly being explored for their potential to enhance medical image segmentation, a crucial task for accurate diagnostic imaging. This study explores enhancing Vision Transformers (ViTs) for medical image segmentation by integrating pre-trained LLM transformer blocks. Our approach, which incorporates a frozen LLM transformer block into the encoder of a ViT-based model, leads to substantial improvements in segmentation performance across various medical imaging modalities. We propose a Hybrid Attention Mechanism that combines global and local feature learning with a Multi-Scale Fusion Block for aggregating features across different scales. The enhanced model shows significant performance gains, including an average Dice score increase from 0.74 to 0.79 and improvements in accuracy, precision, and the Jaccard Index. These results demonstrate the effectiveness of LLM-based transformers in refining medical image segmentation, highlighting their potential to significantly boost model accuracy and robustness. The source code and our implementation are available at: https://bit.ly/3zf2CVs