M3Retrieve: 의학 분야 멀티모달 검색 벤치마킹

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

저자: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG)의 사용이 증가함에 따라 강력한 검색 모델의 중요성은 그 어느 때보다 커졌습니다. 의료 분야에서는 텍스트와 이미지 정보를 결합한 멀티모달 검색 모델이 질문 응답, 크로스모달 검색, 멀티모달 요약과 같은 다양한 다운스트림 작업에 큰 이점을 제공합니다. 이는 의료 데이터가 종종 두 형식을 모두 포함하기 때문입니다. 그러나 현재 이러한 모델이 의료 환경에서 얼마나 잘 수행되는지 평가할 수 있는 표준 벤치마크가 없습니다. 이러한 격차를 해결하기 위해 우리는 멀티모달 의료 검색 벤치마크인 M3Retrieve를 소개합니다. M3Retrieve는 5개 도메인, 16개 의료 분야, 4개의 구별된 작업을 포괄하며, 승인된 라이선스 하에 수집된 120만 개 이상의 텍스트 문서와 16만 4천 개의 멀티모달 쿼리로 구성되어 있습니다. 우리는 이 벤치마크에서 선도적인 멀티모달 검색 모델을 평가하여 다양한 의료 전문 분야에 특화된 과제를 탐구하고 검색 성능에 미치는 영향을 이해하고자 합니다. M3Retrieve를 공개함으로써 우리는 체계적인 평가를 가능하게 하고, 모델 혁신을 촉진하며, 의료 응용을 위한 더 능력 있고 신뢰할 수 있는 멀티모달 검색 시스템 구축을 위한 연구를 가속화하고자 합니다. 데이터셋과 베이스라인 코드는 https://github.com/AkashGhosh/M3Retrieve에서 확인할 수 있습니다.

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.