MMed-RAG: Vielseitiges Multimodales RAG-System für medizinische Vision-Sprachmodelle

Zusammenfassung

Künstliche Intelligenz (KI) hat ein signifikantes Potenzial im Gesundheitswesen gezeigt, insbesondere bei der Krankheitsdiagnose und der Behandlungsplanung. Der jüngste Fortschritt bei Medizinischen Großen Bild-Sprach-Modellen (Med-LVLMs) hat neue Möglichkeiten für interaktive diagnostische Werkzeuge eröffnet. Allerdings leiden diese Modelle oft unter faktischer Halluzination, was zu falschen Diagnosen führen kann. Feinabstimmung und abrufgestützte Generierung (RAG) haben sich als Methoden zur Bewältigung dieser Probleme herausgebildet. Die Menge an hochwertigen Daten und Verteilungsverschiebungen zwischen Trainingsdaten und Bereitstellungsdaten begrenzen jedoch die Anwendung von Feinabstimmungsmethoden. Obwohl RAG leichtgewichtig und effektiv ist, sind bestehende auf RAG basierende Ansätze nicht ausreichend allgemein für verschiedene medizinische Bereiche und können potenziell zu Ausrichtungsproblemen führen, sowohl zwischen Modalitäten als auch zwischen dem Modell und der Realität. In diesem Artikel schlagen wir ein vielseitiges multimodales RAG-System, MMed-RAG, vor, das darauf abzielt, die Faktizität von Med-LVLMs zu verbessern. Unser Ansatz führt einen domänenbewussten Abrufmechanismus, eine adaptive Auswahlmethode für abgerufene Kontexte und eine nachweisbare RAG-basierte Feinabstimmungsstrategie ein. Diese Innovationen machen den RAG-Prozess ausreichend allgemein und zuverlässig und verbessern die Ausrichtung signifikant, wenn abgerufene Kontexte eingeführt werden. Experimentelle Ergebnisse über fünf medizinische Datensätze (Radiologie, Augenheilkunde, Pathologie) zu medizinischer VQA und Berichterstellung zeigen, dass MMed-RAG eine durchschnittliche Verbesserung von 43,8% in der faktischen Genauigkeit von Med-LVLMs erreichen kann. Unsere Daten und der Code sind unter https://github.com/richard-peng-xia/MMed-RAG verfügbar.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.

MMed-RAG: Vielseitiges Multimodales RAG-System für medizinische Vision-Sprachmodelle

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Zusammenfassung

Support