DINOv3 établit-il un nouveau standard en vision médicale ?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

papers.authors: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

papers.abstract

L'avènement des modèles de fondation visuels à grande échelle, pré-entraînés sur des images naturelles diversifiées, a marqué un changement de paradigme en vision par ordinateur. Cependant, la manière dont l'efficacité des modèles de fondation visuels de pointe se transfère à des domaines spécialisés, tels que l'imagerie médicale, reste une question ouverte. Ce rapport étudie si DINOv3, un transformeur visuel (ViT) auto-supervisé de pointe doté de fortes capacités dans les tâches de prédiction dense, peut directement servir d'encodeur puissant et unifié pour les tâches de vision médicale sans pré-entraînement spécifique au domaine. Pour y répondre, nous évaluons DINOv3 sur des tâches courantes de vision médicale, incluant la classification 2D/3D et la segmentation sur une large gamme de modalités d'imagerie médicale. Nous analysons systématiquement son extensibilité en faisant varier la taille des modèles et la résolution des images d'entrée. Nos résultats révèlent que DINOv3 montre des performances impressionnantes et établit une nouvelle référence solide. Fait remarquable, il peut même surpasser des modèles de fondation spécifiques au domaine médical comme BiomedCLIP et CT-Net sur plusieurs tâches, bien qu'il ait été entraîné uniquement sur des images naturelles. Cependant, nous identifions des limites claires : les caractéristiques du modèle se dégradent dans des scénarios nécessitant une spécialisation profonde du domaine, tels que les images pathologiques de lames entières (WSIs), la microscopie électronique (EM) et la tomographie par émission de positons (PET). De plus, nous observons que DINOv3 ne suit pas systématiquement la loi d'échelle dans le domaine médical ; les performances n'augmentent pas de manière fiable avec des modèles plus grands ou des résolutions de caractéristiques plus fines, montrant des comportements d'échelle variés selon les tâches. En fin de compte, notre travail établit DINOv3 comme une référence solide, dont les puissantes caractéristiques visuelles peuvent servir de prior robuste pour de multiples tâches médicales complexes. Cela ouvre des perspectives prometteuses, telles que l'exploitation de ses caractéristiques pour renforcer la cohérence multivue dans la reconstruction 3D.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.