M3Ret: Sbloccare il Recupero di Immagini Mediche Multimodali Zero-shot tramite Auto-Supervisione

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

September 1, 2025

Autori: Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

cs.AI

Abstract

Il recupero delle immagini mediche è fondamentale per il processo decisionale clinico e la ricerca traslazionale, basandosi su rappresentazioni visive discriminative. Tuttavia, i metodi attuali rimangono frammentati, affidandosi ad architetture e strategie di addestramento separate per dati medici 2D, 3D e basati su video. Questo design specifico per modalità ostacola la scalabilità e inibisce lo sviluppo di rappresentazioni unificate. Per abilitare un apprendimento unificato, abbiamo curato un dataset su larga scala a modalità ibrida, comprendente 867.653 campioni di imaging medico, inclusi radiografie 2D ed ecografie, video endoscopici RGB e scansioni TC 3D. Sfruttando questo dataset, abbiamo addestrato M3Ret, un encoder visivo unificato senza alcuna personalizzazione specifica per modalità. Esso apprende con successo rappresentazioni trasferibili utilizzando sia paradigmi di apprendimento auto-supervisionato (SSL) generativo (MAE) che contrastivo (SimDINO). Il nostro approccio stabilisce un nuovo stato dell'arte nel recupero zero-shot da immagine a immagine attraverso tutte le singole modalità, superando baseline robusti come DINOv3 e il BMC-CLIP supervisionato da testo. Ancora più notevolmente, emerge un forte allineamento cross-modale senza dati accoppiati, e il modello si generalizza a task MRI non visti, nonostante non abbia mai osservato MRI durante il pre-addestramento, dimostrando la generalizzabilità dell'auto-supervisione puramente visiva a modalità non viste. Analisi approfondite convalidano ulteriormente la scalabilità del nostro framework attraverso dimensioni di modello e dati. Questi risultati forniscono un segnale promettente alla comunità dell'imaging medico, posizionando M3Ret come un passo verso modelli di base per l'SSL visivo nella comprensione multimodale delle immagini mediche.

English

Medical image retrieval is essential for clinical decision-making and translational research, relying on discriminative visual representations. Yet, current methods remain fragmented, relying on separate architectures and training strategies for 2D, 3D, and video-based medical data. This modality-specific design hampers scalability and inhibits the development of unified representations. To enable unified learning, we curate a large-scale hybrid-modality dataset comprising 867,653 medical imaging samples, including 2D X-rays and ultrasounds, RGB endoscopy videos, and 3D CT scans. Leveraging this dataset, we train M3Ret, a unified visual encoder without any modality-specific customization. It successfully learns transferable representations using both generative (MAE) and contrastive (SimDINO) self-supervised learning (SSL) paradigms. Our approach sets a new state-of-the-art in zero-shot image-to-image retrieval across all individual modalities, surpassing strong baselines such as DINOv3 and the text-supervised BMC-CLIP. More remarkably, strong cross-modal alignment emerges without paired data, and the model generalizes to unseen MRI tasks, despite never observing MRI during pretraining, demonstrating the generalizability of purely visual self-supervision to unseen modalities. Comprehensive analyses further validate the scalability of our framework across model and data sizes. These findings deliver a promising signal to the medical imaging community, positioning M3Ret as a step toward foundation models for visual SSL in multimodal medical image understanding.