O DINOv3 estabelece um novo padrão para visão médica?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

Autores: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

Resumo

O advento de modelos de base de visão em larga escala, pré-treinados em imagens naturais diversas, marcou uma mudança de paradigma na visão computacional. No entanto, como a eficácia desses modelos de base de visão de ponta se transfere para domínios especializados, como a imagem médica, permanece uma questão em aberto. Este relatório investiga se o DINOv3, um transformer de visão (ViT) auto-supervisionado de última geração que apresenta forte capacidade em tarefas de predição densa, pode servir diretamente como um codificador poderoso e unificado para tarefas de visão médica sem pré-treinamento específico do domínio. Para responder a isso, avaliamos o DINOv3 em tarefas comuns de visão médica, incluindo classificação e segmentação 2D/3D em uma ampla gama de modalidades de imagem médica. Analisamos sistematicamente sua escalabilidade variando os tamanhos dos modelos e as resoluções das imagens de entrada. Nossas descobertas revelam que o DINOv3 apresenta um desempenho impressionante e estabelece uma nova linha de base formidável. Notavelmente, ele pode até superar modelos de base específicos para medicina, como o BiomedCLIP e o CT-Net, em várias tarefas, apesar de ter sido treinado apenas em imagens naturais. No entanto, identificamos limitações claras: as características do modelo se degradam em cenários que exigem especialização profunda no domínio, como em Imagens Patológicas de Lâmina Completa (WSIs), Microscopia Eletrônica (EM) e Tomografia por Emissão de Pósitrons (PET). Além disso, observamos que o DINOv3 não obedece consistentemente à lei de escalabilidade no domínio médico; o desempenho não aumenta de forma confiável com modelos maiores ou resoluções de características mais finas, mostrando comportamentos de escalonamento diversos entre as tarefas. Por fim, nosso trabalho estabelece o DINOv3 como uma linha de base forte, cujas características visuais poderosas podem servir como um prior robusto para múltiplas tarefas médicas complexas. Isso abre direções futuras promissoras, como aproveitar suas características para reforçar a consistência multiview na reconstrução 3D.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.