M3Retrieve: Бенчмаркинг мультимодального поиска в медицине

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

Авторы: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

Аннотация

С увеличением использования генерации, дополненной поиском (Retrieval-Augmented Generation, RAG), важность мощных моделей поиска стала как никогда высока. В здравоохранении мультимодальные модели поиска, объединяющие информацию из текста и изображений, предлагают значительные преимущества для многих последующих задач, таких как ответы на вопросы, кросс-модальный поиск и мультимодальное суммирование, поскольку медицинские данные часто включают оба формата. Однако в настоящее время отсутствует стандартный эталон для оценки эффективности таких моделей в медицинских условиях. Чтобы устранить этот пробел, мы представляем M3Retrieve — мультимодальный медицинский эталон для оценки поиска. M3Retrieve охватывает 5 областей, 16 медицинских направлений и 4 различные задачи, включая более 1,2 миллиона текстовых документов и 164 тысячи мультимодальных запросов, собранных с одобренных лицензий. Мы оцениваем ведущие мультимодальные модели поиска на этом эталоне, чтобы изучить проблемы, характерные для различных медицинских специальностей, и понять их влияние на производительность поиска. Публикуя M3Retrieve, мы стремимся обеспечить систематическую оценку, стимулировать инновации в моделях и ускорить исследования в направлении создания более эффективных и надежных мультимодальных систем поиска для медицинских приложений. Набор данных и код базовых моделей доступны на странице GitHub: https://github.com/AkashGhosh/M3Retrieve.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.