Depth Anything V2

Resumo

Este trabalho apresenta o Depth Anything V2. Sem buscar técnicas sofisticadas, nosso objetivo é revelar descobertas cruciais para pavimentar o caminho rumo à construção de um modelo poderoso de estimativa de profundidade monocular. Notavelmente, em comparação com a V1, esta versão produz previsões de profundidade muito mais refinadas e robustas por meio de três práticas principais: 1) substituir todas as imagens reais rotuladas por imagens sintéticas, 2) ampliar a capacidade do nosso modelo professor, e 3) ensinar modelos estudantes por meio da ponte de imagens reais pseudo-rotuladas em grande escala. Em comparação com os modelos mais recentes baseados no Stable Diffusion, nossos modelos são significativamente mais eficientes (mais de 10 vezes mais rápidos) e mais precisos. Oferecemos modelos de diferentes escalas (variando de 25M a 1,3B de parâmetros) para suportar cenários extensos. Beneficiando-se de sua forte capacidade de generalização, nós os ajustamos com rótulos de profundidade métrica para obter nossos modelos de profundidade métrica. Além dos nossos modelos, considerando a diversidade limitada e o ruído frequente nos conjuntos de teste atuais, construímos um benchmark de avaliação versátil com anotações precisas e cenas diversas para facilitar pesquisas futuras.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.