M3Retrieve: Evaluación de la Recuperación Multimodal en Medicina

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

Autores: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

Resumen

Con el creciente uso de la Generación Aumentada por Recuperación (RAG, por sus siglas en inglés), los modelos de recuperación robustos se han vuelto más importantes que nunca. En el ámbito de la salud, los modelos de recuperación multimodal que combinan información tanto de texto como de imágenes ofrecen ventajas significativas para muchas tareas posteriores, como la respuesta a preguntas, la recuperación cruzada de modalidades y la resumen multimodal, ya que los datos médicos suelen incluir ambos formatos. Sin embargo, actualmente no existe un punto de referencia estándar para evaluar el rendimiento de estos modelos en entornos médicos. Para abordar esta brecha, presentamos M3Retrieve, un Punto de Referencia de Recuperación Médica Multimodal. M3Retrieve abarca 5 dominios, 16 campos médicos y 4 tareas distintas, con más de 1.2 millones de documentos de texto y 164 mil consultas multimodales, todos recopilados bajo licencias aprobadas. Evaluamos modelos líderes de recuperación multimodal en este punto de referencia para explorar los desafíos específicos de diferentes especialidades médicas y comprender su impacto en el rendimiento de la recuperación. Al publicar M3Retrieve, nuestro objetivo es permitir una evaluación sistemática, fomentar la innovación en modelos y acelerar la investigación hacia la construcción de sistemas de recuperación multimodal más capaces y confiables para aplicaciones médicas. El conjunto de datos y el código de referencia están disponibles en esta página de GitHub: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.