Depth Anything V2

Depth Anything V2

June 13, 2024

Auteurs: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Résumé

Ce travail présente Depth Anything V2. Sans recourir à des techniques sophistiquées, nous visons à révéler des découvertes cruciales pour ouvrir la voie à la construction d'un modèle puissant d'estimation de profondeur monoculaire. Notamment, par rapport à la version V1, cette version produit des prédictions de profondeur beaucoup plus fines et robustes grâce à trois pratiques clés : 1) remplacer toutes les images réelles étiquetées par des images synthétiques, 2) augmenter la capacité de notre modèle enseignant, et 3) enseigner aux modèles étudiants via le pont d'images réelles pseudo-étiquetées à grande échelle. Comparés aux derniers modèles basés sur Stable Diffusion, nos modèles sont nettement plus efficaces (plus de 10 fois plus rapides) et plus précis. Nous proposons des modèles de différentes échelles (allant de 25M à 1,3B de paramètres) pour soutenir des scénarios variés. Grâce à leur forte capacité de généralisation, nous les affinons avec des étiquettes de profondeur métrique pour obtenir nos modèles de profondeur métrique. En plus de nos modèles, considérant la diversité limitée et le bruit fréquent dans les ensembles de test actuels, nous construisons un benchmark d'évaluation polyvalent avec des annotations précises et des scènes variées pour faciliter les recherches futures.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.