MMed-RAG : Système RAG Multimodal Polyvalent pour les Modèles de Vision Langage Médicale

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Auteurs: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Résumé

L'intelligence artificielle (IA) a démontré un potentiel significatif dans le domaine de la santé, en particulier dans le diagnostic des maladies et la planification des traitements. Les récents progrès des Modèles Médicaux à Grande Echelle Vision-Langage (Med-LVLMs) ont ouvert de nouvelles possibilités pour des outils de diagnostic interactifs. Cependant, ces modèles souffrent souvent d'hallucinations factuelles, pouvant entraîner des diagnostics incorrects. Le fine-tuning et la génération augmentée par récupération (RAG) ont émergé comme des méthodes pour résoudre ces problèmes. Cependant, la quantité de données de haute qualité et les écarts de distribution entre les données d'entraînement et les données de déploiement limitent l'application des méthodes de fine-tuning. Bien que RAG soit léger et efficace, les approches existantes basées sur RAG ne sont pas suffisamment générales pour différents domaines médicaux et peuvent potentiellement causer des problèmes de désalignement, à la fois entre les modalités et entre le modèle et la vérité terrain. Dans cet article, nous proposons un système RAG multimodal polyvalent, MMed-RAG, conçu pour améliorer la factualité des Med-LVLMs. Notre approche introduit un mécanisme de récupération conscient du domaine, une méthode adaptative de sélection des contextes récupérés, et une stratégie de fine-tuning préalable basée sur RAG prouvable. Ces innovations rendent le processus RAG suffisamment général et fiable, améliorant significativement l'alignement lors de l'introduction des contextes récupérés. Les résultats expérimentaux sur cinq ensembles de données médicales (radiologie, ophtalmologie, pathologie) concernant la VQA médicale et la génération de rapports montrent que MMed-RAG peut obtenir une amélioration moyenne de 43,8% de l'exactitude factuelle des Med-LVLMs. Nos données et notre code sont disponibles sur https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.