M3Retrieve : Évaluation comparative de la récupération multimodale en médecine

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

papers.authors: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

papers.abstract

Avec l'utilisation croissante de la Génération Augmentée par Récupération (RAG), les modèles de récupération performants sont devenus plus importants que jamais. Dans le domaine de la santé, les modèles de récupération multimodaux qui combinent des informations provenant à la fois de textes et d'images offrent des avantages majeurs pour de nombreuses tâches en aval telles que la réponse à des questions, la récupération intermodale et la synthèse multimodale, car les données médicales incluent souvent ces deux formats. Cependant, il n'existe actuellement aucun benchmark standard pour évaluer la performance de ces modèles dans des contextes médicaux. Pour combler cette lacune, nous introduisons M3Retrieve, un Benchmark de Récupération Médicale Multimodale. M3Retrieve couvre 5 domaines, 16 spécialités médicales et 4 tâches distinctes, avec plus de 1,2 million de documents textuels et 164 000 requêtes multimodales, tous collectés sous des licences approuvées. Nous évaluons les principaux modèles de récupération multimodaux sur ce benchmark pour explorer les défis spécifiques à différentes spécialités médicales et comprendre leur impact sur la performance de récupération. En publiant M3Retrieve, nous visons à permettre une évaluation systématique, à favoriser l'innovation des modèles et à accélérer la recherche vers la construction de systèmes de récupération multimodaux plus performants et fiables pour les applications médicales. Le jeu de données et le code des modèles de référence sont disponibles sur cette page GitHub : https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.