Setzt DINOv3 einen neuen Standard in der medizinischen Bildverarbeitung?

Does DINOv3 Set a New Medical Vision Standard?

September 8, 2025

papers.authors: Che Liu, Yinda Chen, Haoyuan Shi, Jinpeng Lu, Bailiang Jian, Jiazhen Pan, Linghan Cai, Jiayi Wang, Yundi Zhang, Jun Li, Cosmin I. Bercea, Cheng Ouyang, Chen Chen, Zhiwei Xiong, Benedikt Wiestler, Christian Wachinger, Daniel Rueckert, Wenjia Bai, Rossella Arcucci

cs.AI

papers.abstract

Die Einführung groß angelegter Vision-Foundation-Modelle, die auf diversen natürlichen Bildern vortrainiert wurden, hat einen Paradigmenwechsel in der Computer Vision eingeleitet. Dennoch bleibt die Frage offen, wie effektiv die Fähigkeiten dieser fortschrittlichen Vision-Foundation-Modelle auf spezialisierte Domänen wie die medizinische Bildgebung übertragen werden können. Dieser Bericht untersucht, ob DINOv3, ein moderner selbstüberwachter Vision-Transformer (ViT), der sich durch starke Leistungen bei dichten Vorhersageaufgaben auszeichnet, direkt als leistungsstarker, einheitlicher Encoder für medizinische Bildverarbeitungsaufgaben ohne domänenspezifisches Vortraining dienen kann. Um dies zu beantworten, evaluieren wir DINOv3 in gängigen medizinischen Bildverarbeitungsaufgaben, einschließlich 2D/3D-Klassifikation und Segmentierung über eine breite Palette von medizinischen Bildgebungsmodalitäten. Wir analysieren systematisch seine Skalierbarkeit durch Variation der Modellgrößen und Eingabebildauflösungen. Unsere Ergebnisse zeigen, dass DINOv3 beeindruckende Leistungen erbringt und eine neue, beachtliche Baseline etabliert. Bemerkenswerterweise kann es sogar medizinspezifische Foundation-Modelle wie BiomedCLIP und CT-Net bei mehreren Aufgaben übertreffen, obwohl es ausschließlich auf natürlichen Bildern trainiert wurde. Allerdings identifizieren wir klare Einschränkungen: Die Merkmale des Modells verschlechtern sich in Szenarien, die eine tiefgehende Domänenspezialisierung erfordern, wie bei Ganzpräparat-Pathologiebildern (WSIs), Elektronenmikroskopie (EM) und Positronen-Emissions-Tomographie (PET). Darüber hinaus beobachten wir, dass DINOv3 im medizinischen Bereich nicht konsistent den Skalierungsgesetzen folgt; die Leistung steigt nicht zuverlässig mit größeren Modellen oder feineren Merkmalsauflösungen, sondern zeigt unterschiedliche Skalierungsverhalten über verschiedene Aufgaben hinweg. Letztlich etabliert unsere Arbeit DINOv3 als eine starke Baseline, deren leistungsstarke visuelle Merkmale als robuste Priorität für multiple komplexe medizinische Aufgaben dienen können. Dies eröffnet vielversprechende zukünftige Forschungsrichtungen, wie die Nutzung seiner Merkmale zur Durchsetzung von Multiview-Konsistenz in der 3D-Rekonstruktion.

English

The advent of large-scale vision foundation models, pre-trained on diverse natural images, has marked a paradigm shift in computer vision. However, how the frontier vision foundation models' efficacies transfer to specialized domains remains such as medical imaging remains an open question. This report investigates whether DINOv3, a state-of-the-art self-supervised vision transformer (ViT) that features strong capability in dense prediction tasks, can directly serve as a powerful, unified encoder for medical vision tasks without domain-specific pre-training. To answer this, we benchmark DINOv3 across common medical vision tasks, including 2D/3D classification and segmentation on a wide range of medical imaging modalities. We systematically analyze its scalability by varying model sizes and input image resolutions. Our findings reveal that DINOv3 shows impressive performance and establishes a formidable new baseline. Remarkably, it can even outperform medical-specific foundation models like BiomedCLIP and CT-Net on several tasks, despite being trained solely on natural images. However, we identify clear limitations: The model's features degrade in scenarios requiring deep domain specialization, such as in Whole-Slide Pathological Images (WSIs), Electron Microscopy (EM), and Positron Emission Tomography (PET). Furthermore, we observe that DINOv3 does not consistently obey scaling law in the medical domain; performance does not reliably increase with larger models or finer feature resolutions, showing diverse scaling behaviors across tasks. Ultimately, our work establishes DINOv3 as a strong baseline, whose powerful visual features can serve as a robust prior for multiple complex medical tasks. This opens promising future directions, such as leveraging its features to enforce multiview consistency in 3D reconstruction.