MMed-RAG: Sistema RAG Multimodal Versátil para Modelos de Visão Linguística Médica

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Autores: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Resumo

A Inteligência Artificial (IA) demonstrou um potencial significativo na área da saúde, especialmente no diagnóstico de doenças e no planejamento de tratamentos. O progresso recente nos Modelos Médicos de Grande Visão e Linguagem (Med-LVLMs) abriu novas possibilidades para ferramentas de diagnóstico interativas. No entanto, esses modelos frequentemente sofrem de alucinação factual, o que pode resultar em diagnósticos incorretos. O ajuste fino e a geração aumentada por recuperação (RAG) surgiram como métodos para lidar com esses problemas. No entanto, a quantidade de dados de alta qualidade e as mudanças na distribuição entre os dados de treinamento e os dados de implementação limitam a aplicação dos métodos de ajuste fino. Embora o RAG seja leve e eficaz, as abordagens existentes baseadas em RAG não são suficientemente gerais para diferentes domínios médicos e podem potencialmente causar problemas de desalinhamento, tanto entre modalidades quanto entre o modelo e a verdade fundamental. Neste artigo, propomos um sistema RAG multimodal versátil, MMed-RAG, projetado para aprimorar a factualidade dos Med-LVLMs. Nossa abordagem introduz um mecanismo de recuperação consciente do domínio, um método adaptativo de seleção de contextos recuperados e uma estratégia de ajuste fino baseada em RAG comprovadamente eficaz. Essas inovações tornam o processo RAG suficientemente geral e confiável, melhorando significativamente o alinhamento ao introduzir contextos recuperados. Resultados experimentais em cinco conjuntos de dados médicos (envolvendo radiologia, oftalmologia, patologia) sobre VQA médico e geração de relatórios demonstram que o MMed-RAG pode alcançar uma melhoria média de 43,8% na precisão factual dos Med-LVLMs. Nossos dados e código estão disponíveis em https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.