M3Retrieve: 医療におけるマルチモーダル検索のベンチマーキング

M3Retrieve: Benchmarking Multimodal Retrieval for Medicine

October 8, 2025

著者: Arkadeep Acharya, Akash Ghosh, Pradeepika Verma, Kitsuchart Pasupa, Sriparna Saha, Priti Singh

cs.AI

要旨

検索拡張生成（RAG）の利用が増加する中で、強力な検索モデルの重要性がこれまで以上に高まっています。医療分野では、テキストと画像の両方の情報を組み合わせたマルチモーダル検索モデルが、質問応答、クロスモーダル検索、マルチモーダル要約などの多くの下流タスクにおいて大きな利点を提供します。これは、医療データがしばしば両方の形式を含むためです。しかし、現在のところ、これらのモデルが医療環境でどの程度うまく機能するかを評価するための標準的なベンチマークは存在しません。このギャップを埋めるために、我々はマルチモーダル医療検索ベンチマークであるM3Retrieveを紹介します。M3Retrieveは、5つのドメイン、16の医療分野、4つの異なるタスクにまたがり、120万を超えるテキスト文書と16万4千のマルチモーダルクエリを含み、すべて承認されたライセンスの下で収集されています。我々は、このベンチマーク上で主要なマルチモーダル検索モデルを評価し、異なる医療専門分野に特有の課題を探り、それらが検索性能に与える影響を理解します。M3Retrieveを公開することで、体系的な評価を可能にし、モデルの革新を促進し、医療アプリケーションのためのより能力が高く信頼性のあるマルチモーダル検索システムの構築に向けた研究を加速することを目指しています。データセットとベースラインコードは、以下のGitHubページで利用可能です：https://github.com/AkashGhosh/M3Retrieve。

English

With the increasing use of RetrievalAugmented Generation (RAG), strong retrieval models have become more important than ever. In healthcare, multimodal retrieval models that combine information from both text and images offer major advantages for many downstream tasks such as question answering, cross-modal retrieval, and multimodal summarization, since medical data often includes both formats. However, there is currently no standard benchmark to evaluate how well these models perform in medical settings. To address this gap, we introduce M3Retrieve, a Multimodal Medical Retrieval Benchmark. M3Retrieve, spans 5 domains,16 medical fields, and 4 distinct tasks, with over 1.2 Million text documents and 164K multimodal queries, all collected under approved licenses. We evaluate leading multimodal retrieval models on this benchmark to explore the challenges specific to different medical specialities and to understand their impact on retrieval performance. By releasing M3Retrieve, we aim to enable systematic evaluation, foster model innovation, and accelerate research toward building more capable and reliable multimodal retrieval systems for medical applications. The dataset and the baselines code are available in this github page https://github.com/AkashGhosh/M3Retrieve.