M3Retrieve: Benchmarking van Multimodale Retrieval voor Geneeskunde

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

Auteurs: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

Samenvatting

Met de toenemende toepassing van Retrieval-Augmented Generation (RAG) zijn sterke retrievalsystemen belangrijker dan ooit geworden. In de gezondheidszorg bieden multimodale retrievalsystemen die informatie uit zowel tekst als afbeeldingen combineren grote voordelen voor veel downstream taken, zoals vraagbeantwoording, cross-modale retrieval en multimodale samenvatting, aangezien medische gegevens vaak beide formaten omvatten. Er is echter momenteel geen standaard benchmark om te evalueren hoe goed deze systemen presteren in medische contexten. Om dit gat te dichten, introduceren we M3Retrieve, een Multimodal Medical Retrieval Benchmark. M3Retrieve beslaat 5 domeinen, 16 medische vakgebieden en 4 verschillende taken, met meer dan 1,2 miljoen tekstdocumenten en 164K multimodale queries, allemaal verzameld onder goedgekeurde licenties. We evalueren toonaangevende multimodale retrievalsystemen op deze benchmark om de uitdagingen die specifiek zijn voor verschillende medische specialismen te verkennen en hun impact op de retrievalprestaties te begrijpen. Door M3Retrieve beschikbaar te stellen, willen we systematische evaluatie mogelijk maken, modelinnovatie bevorderen en onderzoek versnellen naar het ontwikkelen van krachtigere en betrouwbaardere multimodale retrievalsystemen voor medische toepassingen. De dataset en de baselinecode zijn beschikbaar op deze GitHub-pagina: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.