M3Ret : Libérer le potentiel de la recherche d'images médicales multimodales en zero-shot grâce à l'auto-supervision

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

September 1, 2025

papers.authors: Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

cs.AI

papers.abstract

La recherche d'images médicales est essentielle pour la prise de décision clinique et la recherche translationnelle, reposant sur des représentations visuelles discriminantes. Cependant, les méthodes actuelles restent fragmentées, s'appuyant sur des architectures et des stratégies d'entraînement distinctes pour les données médicales en 2D, 3D et vidéo. Cette conception spécifique à la modalité entrave l'évolutivité et freine le développement de représentations unifiées. Pour permettre un apprentissage unifié, nous avons constitué un ensemble de données hybride à grande échelle comprenant 867 653 échantillons d'imagerie médicale, incluant des radiographies 2D et des échographies, des vidéos d'endoscopie en RGB et des scanners CT en 3D. En exploitant cet ensemble de données, nous avons entraîné M3Ret, un encodeur visuel unifié sans aucune personnalisation spécifique à la modalité. Il apprend avec succès des représentations transférables en utilisant à la fois des paradigmes d'apprentissage auto-supervisé (SSL) génératif (MAE) et contrastif (SimDINO). Notre approche établit un nouvel état de l'art en recherche d'image à image sans apprentissage préalable (zero-shot) pour toutes les modalités individuelles, surpassant des bases de référence solides telles que DINOv3 et le BMC-CLIP supervisé par texte. Plus remarquablement, un fort alignement intermodal émerge sans données appariées, et le modèle se généralise à des tâches IRM non vues, bien qu'il n'ait jamais observé d'IRM lors du pré-entraînement, démontrant ainsi la généralisabilité de l'auto-supervision purement visuelle à des modalités non vues. Des analyses approfondies valident en outre l'évolutivité de notre cadre à travers les tailles de modèles et de données. Ces résultats offrent un signal prometteur à la communauté de l'imagerie médicale, positionnant M3Ret comme une étape vers des modèles fondateurs pour l'auto-supervision visuelle dans la compréhension multimodale des images médicales.

English

Medical image retrieval is essential for clinical decision-making and translational research, relying on discriminative visual representations. Yet, current methods remain fragmented, relying on separate architectures and training strategies for 2D, 3D, and video-based medical data. This modality-specific design hampers scalability and inhibits the development of unified representations. To enable unified learning, we curate a large-scale hybrid-modality dataset comprising 867,653 medical imaging samples, including 2D X-rays and ultrasounds, RGB endoscopy videos, and 3D CT scans. Leveraging this dataset, we train M3Ret, a unified visual encoder without any modality-specific customization. It successfully learns transferable representations using both generative (MAE) and contrastive (SimDINO) self-supervised learning (SSL) paradigms. Our approach sets a new state-of-the-art in zero-shot image-to-image retrieval across all individual modalities, surpassing strong baselines such as DINOv3 and the text-supervised BMC-CLIP. More remarkably, strong cross-modal alignment emerges without paired data, and the model generalizes to unseen MRI tasks, despite never observing MRI during pretraining, demonstrating the generalizability of purely visual self-supervision to unseen modalities. Comprehensive analyses further validate the scalability of our framework across model and data sizes. These findings deliver a promising signal to the medical imaging community, positioning M3Ret as a step toward foundation models for visual SSL in multimodal medical image understanding.