Depth Anything V2

Abstract

Questo lavoro presenta Depth Anything V2. Senza ricercare tecniche elaborate, miriamo a rivelare scoperte cruciali per aprire la strada verso la costruzione di un potente modello di stima della profondità monoculare. In particolare, rispetto alla V1, questa versione produce previsioni di profondità molto più dettagliate e robuste attraverso tre pratiche chiave: 1) sostituzione di tutte le immagini reali etichettate con immagini sintetiche, 2) aumento della capacità del nostro modello insegnante, e 3) insegnamento dei modelli studente tramite il ponte di immagini reali pseudo-etichettate su larga scala. Rispetto ai modelli più recenti basati su Stable Diffusion, i nostri modelli sono significativamente più efficienti (più di 10 volte più veloci) e più precisi. Offriamo modelli di diverse dimensioni (che vanno da 25M a 1.3B parametri) per supportare scenari estesi. Grazie alla loro forte capacità di generalizzazione, li ottimizziamo con etichette di profondità metrica per ottenere i nostri modelli di profondità metrica. Oltre ai nostri modelli, considerando la limitata diversità e il frequente rumore negli attuali set di test, costruiamo un benchmark di valutazione versatile con annotazioni precise e scene diversificate per facilitare la ricerca futura.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.