¿Establece DINOv3 un nuevo estándar en visión médica?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

Autores: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

Resumen

El advenimiento de modelos de visión de base a gran escala, preentrenados en imágenes naturales diversas, ha marcado un cambio de paradigma en la visión por computadora. Sin embargo, cómo se transfiere la eficacia de los modelos de visión de base de vanguardia a dominios especializados, como la imagen médica, sigue siendo una pregunta abierta. Este informe investiga si DINOv3, un transformador de visión (ViT) de última generación con aprendizaje autosupervisado que destaca por su capacidad en tareas de predicción densa, puede servir directamente como un codificador potente y unificado para tareas de visión médica sin necesidad de preentrenamiento específico del dominio. Para responder a esto, evaluamos DINOv3 en tareas comunes de visión médica, incluyendo clasificación y segmentación 2D/3D en una amplia gama de modalidades de imágenes médicas. Analizamos sistemáticamente su escalabilidad variando los tamaños del modelo y las resoluciones de las imágenes de entrada. Nuestros hallazgos revelan que DINOv3 muestra un rendimiento impresionante y establece una nueva línea de base formidable. Notablemente, incluso puede superar a modelos de base específicos para medicina, como BiomedCLIP y CT-Net, en varias tareas, a pesar de haber sido entrenado únicamente en imágenes naturales. Sin embargo, identificamos limitaciones claras: las características del modelo se degradan en escenarios que requieren una especialización profunda del dominio, como en imágenes patológicas de láminas completas (WSIs), microscopía electrónica (EM) y tomografía por emisión de positrones (PET). Además, observamos que DINOv3 no sigue consistentemente la ley de escalamiento en el dominio médico; el rendimiento no aumenta de manera confiable con modelos más grandes o resoluciones de características más finas, mostrando comportamientos de escalamiento diversos entre tareas. En última instancia, nuestro trabajo establece a DINOv3 como una línea de base sólida, cuyas potentes características visuales pueden servir como un antecedente robusto para múltiples tareas médicas complejas. Esto abre direcciones futuras prometedoras, como aprovechar sus características para reforzar la consistencia multivista en la reconstrucción 3D.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.