M3Ret: Freisetzung der Zero-Shot-Multimodalen Medizinbildsuche durch Selbstüberwachung

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

September 1, 2025

papers.authors: Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

cs.AI

papers.abstract

Die medizinische Bildsuche ist entscheidend für klinische Entscheidungsfindungen und translationale Forschung, wobei sie auf diskriminative visuelle Darstellungen angewiesen ist. Dennoch bleiben aktuelle Methoden fragmentiert, da sie auf separate Architekturen und Trainingsstrategien für 2D-, 3D- und videobasierte medizinische Daten zurückgreifen. Dieser modalitätsspezifische Ansatz behindert die Skalierbarkeit und hemmt die Entwicklung einheitlicher Darstellungen. Um einheitliches Lernen zu ermöglichen, haben wir einen groß angelegten hybriden Datensatz mit 867.653 medizinischen Bildproben kuratiert, darunter 2D-Röntgenaufnahmen und Ultraschallbilder, RGB-Endoskopievideos und 3D-CT-Scans. Mit diesem Datensatz trainieren wir M3Ret, einen einheitlichen visuellen Encoder ohne jegliche modalitätsspezifische Anpassung. Es lernt erfolgreich übertragbare Darstellungen mithilfe sowohl generativer (MAE) als auch kontrastiver (SimDINO) selbstüberwachter Lernparadigmen (SSL). Unser Ansatz setzt einen neuen Maßstab für die Zero-Shot-Bild-zu-Bild-Suche über alle einzelnen Modalitäten hinweg und übertrifft starke Baselines wie DINOv3 und den textüberwachten BMC-CLIP. Bemerkenswerterweise entsteht eine starke cross-modale Ausrichtung ohne gepaarte Daten, und das Modell generalisiert auf ungesehene MRI-Aufgaben, obwohl es während des Vortrainings nie MRI-Daten gesehen hat, was die Generalisierbarkeit rein visueller Selbstüberwachung auf ungesehene Modalitäten demonstriert. Umfassende Analysen bestätigen weiterhin die Skalierbarkeit unseres Frameworks über Modell- und Datengrößen hinweg. Diese Ergebnisse liefern ein vielversprechendes Signal an die medizinische Bildgebungsgemeinschaft und positionieren M3Ret als einen Schritt hin zu Foundation-Modellen für visuelle SSL im multimodalen Verständnis medizinischer Bilder.

English

Medical image retrieval is essential for clinical decision-making and translational research, relying on discriminative visual representations. Yet, current methods remain fragmented, relying on separate architectures and training strategies for 2D, 3D, and video-based medical data. This modality-specific design hampers scalability and inhibits the development of unified representations. To enable unified learning, we curate a large-scale hybrid-modality dataset comprising 867,653 medical imaging samples, including 2D X-rays and ultrasounds, RGB endoscopy videos, and 3D CT scans. Leveraging this dataset, we train M3Ret, a unified visual encoder without any modality-specific customization. It successfully learns transferable representations using both generative (MAE) and contrastive (SimDINO) self-supervised learning (SSL) paradigms. Our approach sets a new state-of-the-art in zero-shot image-to-image retrieval across all individual modalities, surpassing strong baselines such as DINOv3 and the text-supervised BMC-CLIP. More remarkably, strong cross-modal alignment emerges without paired data, and the model generalizes to unseen MRI tasks, despite never observing MRI during pretraining, demonstrating the generalizability of purely visual self-supervision to unseen modalities. Comprehensive analyses further validate the scalability of our framework across model and data sizes. These findings deliver a promising signal to the medical imaging community, positioning M3Ret as a step toward foundation models for visual SSL in multimodal medical image understanding.