Устанавливает ли DINOv3 новый стандарт в медицинской визуализации?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

Авторы: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

Аннотация

Появление крупномасштабных базовых моделей для обработки изображений, предварительно обученных на разнообразных естественных изображениях, ознаменовало смену парадигмы в компьютерном зрении. Однако вопрос о том, насколько эффективно передовые базовые модели для обработки изображений переносятся на специализированные области, такие как медицинская визуализация, остается открытым. В данном отчете исследуется, может ли DINOv3 — современный самоконтролируемый трансформер для обработки изображений (ViT), обладающий высокой способностью к задачам плотного предсказания, — напрямую служить мощным унифицированным кодировщиком для задач медицинского зрения без предварительного обучения на специализированных данных. Чтобы ответить на этот вопрос, мы проводим тестирование DINOv3 на типичных задачах медицинского зрения, включая классификацию и сегментацию 2D/3D изображений на широком спектре медицинских модальностей. Мы систематически анализируем его масштабируемость, варьируя размеры модели и разрешения входных изображений. Наши результаты показывают, что DINOv3 демонстрирует впечатляющую производительность и устанавливает новый высокий стандарт. Примечательно, что он даже превосходит специализированные медицинские базовые модели, такие как BiomedCLIP и CT-Net, в нескольких задачах, несмотря на обучение исключительно на естественных изображениях. Однако мы выявляем явные ограничения: характеристики модели ухудшаются в сценариях, требующих глубокой специализации в предметной области, таких как обработка цельных гистологических срезов (WSI), электронная микроскопия (EM) и позитронно-эмиссионная томография (PET). Кроме того, мы наблюдаем, что DINOv3 не всегда следует закону масштабирования в медицинской области: производительность не всегда увеличивается с ростом размера модели или более высоким разрешением признаков, демонстрируя разнообразное поведение при масштабировании в зависимости от задачи. В итоге наша работа устанавливает DINOv3 как сильный базовый стандарт, чьи мощные визуальные признаки могут служить надежной априорной информацией для множества сложных медицинских задач. Это открывает перспективные направления для будущих исследований, такие как использование его признаков для обеспечения согласованности многовидовых данных в 3D-реконструкции.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.