M3Retrieve: Benchmark per il Recupero Multimodale in Medicina

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

Autori: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

Abstract

Con l'uso crescente della Generazione Aumentata dal Recupero (RAG), i modelli di recupero robusti sono diventati più importanti che mai. Nel settore sanitario, i modelli di recupero multimodali che combinano informazioni sia da testo che da immagini offrono vantaggi significativi per molte attività a valle, come il question answering, il recupero cross-modale e la sintesi multimodale, poiché i dati medici spesso includono entrambi i formati. Tuttavia, attualmente non esiste un benchmark standard per valutare quanto bene questi modelli performano in contesti medici. Per colmare questa lacuna, introduciamo M3Retrieve, un Benchmark di Recupero Medico Multimodale. M3Retrieve copre 5 domini, 16 campi medici e 4 distinte attività, con oltre 1,2 milioni di documenti testuali e 164K query multimodali, tutti raccolti sotto licenze approvate. Valutiamo i principali modelli di recupero multimodali su questo benchmark per esplorare le sfide specifiche di diverse specialità mediche e per comprenderne l'impatto sulle prestazioni di recupero. Rilasciando M3Retrieve, miriamo a consentire una valutazione sistematica, favorire l'innovazione dei modelli e accelerare la ricerca verso la costruzione di sistemi di recupero multimodali più capaci e affidabili per applicazioni mediche. Il dataset e il codice delle baseline sono disponibili su questa pagina GitHub: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.