MMed-RAG: Универсальная мультимодальная система RAG для медицинского видеоязыковых моделей

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Авторы: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Аннотация

Искусственный интеллект (ИИ) продемонстрировал значительный потенциал в области здравоохранения, особенно в диагностике заболеваний и планировании лечения. Недавние успехи в области Медицинских Больших Моделей Видео-Языка (Med-LVLMs) открыли новые возможности для интерактивных диагностических инструментов. Однако эти модели часто страдают от фактического галлюцинирования, что может привести к неправильным диагнозам. Как методы решения этих проблем выделяются настройка и генерация с увеличением поиска (RAG). Однако количество высококачественных данных и расхождения между обучающими данными и данными внедрения ограничивают применение методов настройки. Хотя RAG является легким и эффективным, существующие подходы на основе RAG недостаточно общие для различных медицинских областей и могут потенциально вызывать проблемы несоответствия как между модальностями, так и между моделью и истиной. В данной статье мы предлагаем универсальную мультимодальную систему RAG, MMed-RAG, разработанную для улучшения фактичности Med-LVLMs. Наш подход включает механизм извлечения, адаптивный метод выбора контекстов и стратегию настройки предпочтений на основе RAG с доказуемой эффективностью. Эти инновации делают процесс RAG достаточно общим и надежным, значительно улучшая соответствие при введении извлеченных контекстов. Экспериментальные результаты на пяти медицинских наборах данных (включая радиологию, офтальмологию, патологию) по медицинскому VQA и генерации отчетов показывают, что MMed-RAG может достичь среднего улучшения фактической точности Med-LVLMs на 43,8%. Наши данные и код доступны по ссылке https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.