MMed-RAG: Sistema RAG Multimodal Versátil para Modelos de Visión y Lenguaje Médico

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Autores: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Resumen

La Inteligencia Artificial (IA) ha demostrado un potencial significativo en el campo de la salud, especialmente en el diagnóstico de enfermedades y la planificación del tratamiento. El reciente avance en Modelos Médicos de Gran Visión-Lenguaje (Med-LVLMs) ha abierto nuevas posibilidades para herramientas de diagnóstico interactivas. Sin embargo, estos modelos a menudo sufren de alucinaciones factuales, lo que puede llevar a diagnósticos incorrectos. El ajuste fino y la generación aumentada mediante recuperación (RAG) han surgido como métodos para abordar estos problemas. Sin embargo, la cantidad de datos de alta calidad y los cambios de distribución entre los datos de entrenamiento y los datos de implementación limitan la aplicación de métodos de ajuste fino. Aunque RAG es ligero y efectivo, los enfoques existentes basados en RAG no son lo suficientemente generales para diferentes dominios médicos y pueden causar problemas de desalineación, tanto entre modalidades como entre el modelo y la verdad fundamental. En este documento, proponemos un sistema RAG multimodal versátil, MMed-RAG, diseñado para mejorar la factualidad de los Med-LVLMs. Nuestro enfoque introduce un mecanismo de recuperación consciente del dominio, un método adaptativo de selección de contextos recuperados y una estrategia de ajuste fino basada en RAG demostrable. Estas innovaciones hacen que el proceso de RAG sea lo suficientemente general y confiable, mejorando significativamente la alineación al introducir contextos recuperados. Los resultados experimentales en cinco conjuntos de datos médicos (radiología, oftalmología, patología) sobre VQA médico y generación de informes demuestran que MMed-RAG puede lograr una mejora promedio del 43.8% en la precisión factual de los Med-LVLMs. Nuestros datos y código están disponibles en https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.