M3Ret: Liberando la Recuperación de Imágenes Médicas Multimodales sin Ejemplos Previos mediante Auto-Supervisión

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

September 1, 2025

Autores: Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

cs.AI

Resumen

La recuperación de imágenes médicas es esencial para la toma de decisiones clínicas y la investigación traslacional, dependiendo de representaciones visuales discriminativas. Sin embargo, los métodos actuales siguen siendo fragmentados, basándose en arquitecturas y estrategias de entrenamiento separadas para datos médicos en 2D, 3D y basados en video. Este diseño específico por modalidad dificulta la escalabilidad e impide el desarrollo de representaciones unificadas. Para permitir un aprendizaje unificado, hemos creado un conjunto de datos a gran escala de modalidad híbrida que comprende 867,653 muestras de imágenes médicas, incluyendo radiografías 2D y ultrasonidos, videos de endoscopia RGB y tomografías computarizadas 3D. Utilizando este conjunto de datos, entrenamos M3Ret, un codificador visual unificado sin ninguna personalización específica por modalidad. Este logra aprender representaciones transferibles utilizando tanto paradigmas de aprendizaje autosupervisado (SSL) generativo (MAE) como contrastivo (SimDINO). Nuestro enfoque establece un nuevo estado del arte en la recuperación de imágenes a imágenes en modo cero-shot en todas las modalidades individuales, superando a fuertes líneas base como DINOv3 y el BMC-CLIP supervisado por texto. Más notablemente, surge una fuerte alineación multimodal sin datos emparejados, y el modelo se generaliza a tareas de resonancia magnética (MRI) no vistas, a pesar de no haber observado MRI durante el preentrenamiento, demostrando la generalizabilidad del aprendizaje autosupervisado puramente visual a modalidades no vistas. Análisis exhaustivos validan además la escalabilidad de nuestro marco de trabajo en términos de tamaño de modelo y datos. Estos hallazgos ofrecen una señal prometedora a la comunidad de imágenes médicas, posicionando a M3Ret como un paso hacia modelos fundacionales para el aprendizaje autosupervisado visual en la comprensión multimodal de imágenes médicas.

English

Medical image retrieval is essential for clinical decision-making and translational research, relying on discriminative visual representations. Yet, current methods remain fragmented, relying on separate architectures and training strategies for 2D, 3D, and video-based medical data. This modality-specific design hampers scalability and inhibits the development of unified representations. To enable unified learning, we curate a large-scale hybrid-modality dataset comprising 867,653 medical imaging samples, including 2D X-rays and ultrasounds, RGB endoscopy videos, and 3D CT scans. Leveraging this dataset, we train M3Ret, a unified visual encoder without any modality-specific customization. It successfully learns transferable representations using both generative (MAE) and contrastive (SimDINO) self-supervised learning (SSL) paradigms. Our approach sets a new state-of-the-art in zero-shot image-to-image retrieval across all individual modalities, surpassing strong baselines such as DINOv3 and the text-supervised BMC-CLIP. More remarkably, strong cross-modal alignment emerges without paired data, and the model generalizes to unseen MRI tasks, despite never observing MRI during pretraining, demonstrating the generalizability of purely visual self-supervision to unseen modalities. Comprehensive analyses further validate the scalability of our framework across model and data sizes. These findings deliver a promising signal to the medical imaging community, positioning M3Ret as a step toward foundation models for visual SSL in multimodal medical image understanding.