M3Ret: Het Ontketenen van Zero-shot Multimodale Medische Beeldretrieval via Zelfsupervisie

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

September 1, 2025

Auteurs: Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

cs.AI

Samenvatting

Medische beeldretrieval is essentieel voor klinische besluitvorming en translationeel onderzoek, en is afhankelijk van discriminerende visuele representaties. Toch blijven huidige methoden gefragmenteerd, waarbij ze vertrouwen op afzonderlijke architecturen en trainingsstrategieën voor 2D, 3D en video-gebaseerde medische data. Dit modaliteit-specifieke ontwerp belemmert de schaalbaarheid en remt de ontwikkeling van uniforme representaties. Om uniform leren mogelijk te maken, hebben we een grootschalige hybride-modaliteit dataset samengesteld, bestaande uit 867.653 medische beeldmonsters, waaronder 2D röntgenfoto's en echo's, RGB-endoscopievideo's en 3D CT-scans. Met behulp van deze dataset trainen we M3Ret, een uniforme visuele encoder zonder enige modaliteit-specifieke aanpassingen. Het leert met succes overdraagbare representaties aan door gebruik te maken van zowel generatieve (MAE) als contrastieve (SimDINO) zelfgesuperviseerde leerparadigma's (SSL). Onze aanpak vestigt een nieuwe state-of-the-art in zero-shot beeld-naar-beeldretrieval over alle individuele modaliteiten, en overtreft sterke baselines zoals DINOv3 en de tekstgesuperviseerde BMC-CLIP. Opmerkelijker is dat er sterke cross-modale alignering ontstaat zonder gepaarde data, en het model generaliseert naar onbekende MRI-taken, ondanks dat het tijdens de pretraining nooit MRI heeft gezien, wat de generaliseerbaarheid van puur visuele zelfsupervisie naar onbekende modaliteiten aantoont. Uitgebreide analyses valideren verder de schaalbaarheid van ons framework over model- en datagrootten. Deze bevindingen geven een veelbelovend signaal aan de medische beeldvormingsgemeenschap, en positioneren M3Ret als een stap in de richting van foundationmodellen voor visuele SSL in multimodale medische beeldinterpretatie.

English

Medical image retrieval is essential for clinical decision-making and translational research, relying on discriminative visual representations. Yet, current methods remain fragmented, relying on separate architectures and training strategies for 2D, 3D, and video-based medical data. This modality-specific design hampers scalability and inhibits the development of unified representations. To enable unified learning, we curate a large-scale hybrid-modality dataset comprising 867,653 medical imaging samples, including 2D X-rays and ultrasounds, RGB endoscopy videos, and 3D CT scans. Leveraging this dataset, we train M3Ret, a unified visual encoder without any modality-specific customization. It successfully learns transferable representations using both generative (MAE) and contrastive (SimDINO) self-supervised learning (SSL) paradigms. Our approach sets a new state-of-the-art in zero-shot image-to-image retrieval across all individual modalities, surpassing strong baselines such as DINOv3 and the text-supervised BMC-CLIP. More remarkably, strong cross-modal alignment emerges without paired data, and the model generalizes to unseen MRI tasks, despite never observing MRI during pretraining, demonstrating the generalizability of purely visual self-supervision to unseen modalities. Comprehensive analyses further validate the scalability of our framework across model and data sizes. These findings deliver a promising signal to the medical imaging community, positioning M3Ret as a step toward foundation models for visual SSL in multimodal medical image understanding.