DINOv3 stabilisce un nuovo standard per la visione medica?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

Autori: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

Abstract

L'avvento di modelli di fondazione visivi su larga scala, pre-addestrati su immagini naturali diverse, ha segnato un cambiamento di paradigma nel campo della visione artificiale. Tuttavia, rimane una questione aperta come l'efficacia di questi modelli di frontiera si trasferisca a domini specializzati come l'imaging medico. Questo rapporto indaga se DINOv3, un transformer visivo (ViT) all'avanguardia nell'apprendimento auto-supervisionato, noto per le sue forti capacità nei compiti di predizione densa, possa servire direttamente come un encoder potente e unificato per compiti di visione medica senza un pre-addestramento specifico per il dominio. Per rispondere a questa domanda, valutiamo DINOv3 su compiti comuni di visione medica, inclusi la classificazione 2D/3D e la segmentazione su una vasta gamma di modalità di imaging medico. Analizziamo sistematicamente la sua scalabilità variando le dimensioni del modello e le risoluzioni delle immagini di input. I nostri risultati rivelano che DINOv3 mostra prestazioni impressionanti e stabilisce un nuovo e formidabile punto di riferimento. Sorprendentemente, può persino superare modelli di fondazione specifici per il medico come BiomedCLIP e CT-Net in diversi compiti, nonostante sia stato addestrato esclusivamente su immagini naturali. Tuttavia, identifichiamo chiare limitazioni: le caratteristiche del modello si degradano in scenari che richiedono una specializzazione profonda del dominio, come nelle immagini patologiche Whole-Slide (WSI), nella Microscopia Elettronica (EM) e nella Tomografia a Emissione di Positroni (PET). Inoltre, osserviamo che DINOv3 non segue in modo coerente la legge di scalabilità nel dominio medico; le prestazioni non aumentano in modo affidabile con modelli più grandi o risoluzioni di caratteristiche più fini, mostrando comportamenti di scalabilità diversi tra i compiti. In definitiva, il nostro lavoro stabilisce DINOv3 come un punto di riferimento solido, le cui potenti caratteristiche visive possono servire come un priore robusto per molteplici compiti medici complessi. Ciò apre promettenti direzioni future, come sfruttare le sue caratteristiche per rafforzare la coerenza multiview nella ricostruzione 3D.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.