M3Retrieve: Avaliação Comparativa de Recuperação Multimodal para Medicina

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

Autores: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

Resumo

Com o uso crescente de Geração Aumentada por Recuperação (RAG, do inglês Retrieval-Augmented Generation), modelos de recuperação robustos tornaram-se mais importantes do que nunca. Na área da saúde, modelos de recuperação multimodal que combinam informações de texto e imagens oferecem vantagens significativas para diversas tarefas subsequentes, como resposta a perguntas, recuperação cruzada de modalidades e sumarização multimodal, uma vez que os dados médicos frequentemente incluem ambos os formatos. No entanto, atualmente não existe um benchmark padrão para avaliar o desempenho desses modelos em contextos médicos. Para preencher essa lacuna, apresentamos o M3Retrieve, um Benchmark de Recuperação Multimodal Médica. O M3Retrieve abrange 5 domínios, 16 áreas médicas e 4 tarefas distintas, com mais de 1,2 milhão de documentos de texto e 164 mil consultas multimodais, todos coletados sob licenças aprovadas. Avaliamos modelos líderes de recuperação multimodal neste benchmark para explorar os desafios específicos de diferentes especialidades médicas e compreender seu impacto no desempenho da recuperação. Ao disponibilizar o M3Retrieve, nosso objetivo é permitir uma avaliação sistemática, fomentar a inovação de modelos e acelerar a pesquisa para a construção de sistemas de recuperação multimodal mais capazes e confiáveis para aplicações médicas. O conjunto de dados e o código das linhas de base estão disponíveis nesta página do GitHub: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.