DINOv3

Resumo

O aprendizado auto-supervisionado promete eliminar a necessidade de anotação manual de dados, permitindo que os modelos escalem facilmente para conjuntos de dados massivos e arquiteturas maiores. Por não ser adaptado a tarefas ou domínios específicos, esse paradigma de treinamento tem o potencial de aprender representações visuais a partir de fontes diversas, variando de imagens naturais a aéreas -- usando um único algoritmo. Este relatório técnico apresenta o DINOv3, um marco importante para a realização dessa visão, ao empregar estratégias simples, porém eficazes. Primeiro, aproveitamos os benefícios de escalar tanto o tamanho do conjunto de dados quanto do modelo por meio de preparação, design e otimização cuidadosos dos dados. Segundo, introduzimos um novo método chamado ancoragem Gram, que aborda efetivamente o problema conhecido, mas não resolvido, de mapas de características densas se degradarem durante longos cronogramas de treinamento. Por fim, aplicamos estratégias pós-treinamento que aumentam ainda mais a flexibilidade de nossos modelos em relação à resolução, tamanho do modelo e alinhamento com texto. Como resultado, apresentamos um modelo de base visual versátil que supera o estado da arte especializado em uma ampla gama de configurações, sem ajuste fino. O DINOv3 produz características densas de alta qualidade que alcançam desempenho excepcional em várias tarefas visuais, superando significativamente os modelos de base auto-supervisionados e fracamente supervisionados anteriores. Também compartilhamos a suíte de modelos visuais DINOv3, projetada para avançar o estado da arte em um amplo espectro de tarefas e dados, fornecendo soluções escaláveis para diversas restrições de recursos e cenários de implantação.

English

Self-supervised learning holds the promise of eliminating the need for manual data annotation, enabling models to scale effortlessly to massive datasets and larger architectures. By not being tailored to specific tasks or domains, this training paradigm has the potential to learn visual representations from diverse sources, ranging from natural to aerial images -- using a single algorithm. This technical report introduces DINOv3, a major milestone toward realizing this vision by leveraging simple yet effective strategies. First, we leverage the benefit of scaling both dataset and model size by careful data preparation, design, and optimization. Second, we introduce a new method called Gram anchoring, which effectively addresses the known yet unsolved issue of dense feature maps degrading during long training schedules. Finally, we apply post-hoc strategies that further enhance our models' flexibility with respect to resolution, model size, and alignment with text. As a result, we present a versatile vision foundation model that outperforms the specialized state of the art across a broad range of settings, without fine-tuning. DINOv3 produces high-quality dense features that achieve outstanding performance on various vision tasks, significantly surpassing previous self- and weakly-supervised foundation models. We also share the DINOv3 suite of vision models, designed to advance the state of the art on a wide spectrum of tasks and data by providing scalable solutions for diverse resource constraints and deployment scenarios.