M3Retrieve: Benchmarking multimodaler Retrievalverfahren in der Medizin

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

papers.authors: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

papers.abstract

Mit der zunehmenden Nutzung von Retrieval-Augmented Generation (RAG) sind leistungsstarke Retrieval-Modelle wichtiger denn je geworden. Im Gesundheitswesen bieten multimodale Retrieval-Modelle, die Informationen sowohl aus Texten als auch aus Bildern kombinieren, erhebliche Vorteile für viele nachgelagerte Aufgaben wie Frage-Antwort-Systeme, cross-modales Retrieval und multimodale Zusammenfassungen, da medizinische Daten oft beide Formate umfassen. Allerdings gibt es derzeit keinen Standard-Benchmark, um zu bewerten, wie gut diese Modelle in medizinischen Kontexten abschneiden. Um diese Lücke zu schließen, führen wir M3Retrieve ein, einen Multimodalen Medizinischen Retrieval-Benchmark. M3Retrieve umfasst 5 Domänen, 16 medizinische Fachgebiete und 4 verschiedene Aufgaben mit über 1,2 Millionen Textdokumenten und 164.000 multimodalen Abfragen, die alle unter genehmigten Lizenzen gesammelt wurden. Wir bewerten führende multimodale Retrieval-Modelle anhand dieses Benchmarks, um die spezifischen Herausforderungen verschiedener medizinischer Fachgebiete zu untersuchen und deren Auswirkungen auf die Retrieval-Leistung zu verstehen. Mit der Veröffentlichung von M3Retrieve möchten wir eine systematische Bewertung ermöglichen, die Innovation von Modellen fördern und die Forschung hin zu leistungsfähigeren und zuverlässigeren multimodalen Retrieval-Systemen für medizinische Anwendungen beschleunigen. Der Datensatz und der Code für die Baselines sind auf dieser GitHub-Seite verfügbar: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.