MMed-RAG: Sistema RAG Multimodale Versatile per Modelli di Visione e Linguaggio Medico

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Autori: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Abstract

L'Intelligenza Artificiale (IA) ha dimostrato un significativo potenziale nel settore sanitario, in particolare nella diagnosi delle malattie e nella pianificazione del trattamento. I recenti progressi nei Modelli Medici Multimodali Visione-Linguaggio (Med-LVLMs) hanno aperto nuove possibilità per strumenti diagnostici interattivi. Tuttavia, questi modelli soffrono spesso di allucinazioni factuali, che possono portare a diagnosi errate. Il raffinamento e la generazione potenziata da recupero (RAG) sono emersi come metodi per affrontare questi problemi. Tuttavia, la quantità di dati di alta qualità e gli scostamenti di distribuzione tra i dati di addestramento e i dati di implementazione limitano l'applicazione dei metodi di raffinamento. Anche se RAG è leggero ed efficace, gli approcci basati su RAG esistenti non sono sufficientemente generali per i diversi domini medici e possono potenzialmente causare problemi di disallineamento, sia tra le modalità che tra il modello e la verità di riferimento. In questo articolo, proponiamo un sistema RAG multimodale versatile, MMed-RAG, progettato per migliorare la factualità dei Med-LVLMs. Il nostro approccio introduce un meccanismo di recupero consapevole del dominio, un metodo di selezione adattiva dei contesti recuperati e una strategia di raffinamento delle preferenze basata su RAG dimostrabile. Queste innovazioni rendono il processo RAG sufficientemente generale e affidabile, migliorando significativamente l'allineamento durante l'introduzione dei contesti recuperati. I risultati sperimentali su cinque set di dati medici (radiologia, oftalmologia, patologia) relativi a VQA medico e generazione di report dimostrano che MMed-RAG può ottenere un miglioramento medio del 43,8% nell'accuratezza fattuale dei Med-LVLMs. I nostri dati e codici sono disponibili su https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.