Depth Anything V2

Depth Anything V2

June 13, 2024

Autores: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Resumen

Este trabajo presenta Depth Anything V2. Sin recurrir a técnicas complejas, nuestro objetivo es revelar hallazgos cruciales que allanen el camino hacia la construcción de un modelo potente de estimación de profundidad monocular. Destacablemente, en comparación con V1, esta versión genera predicciones de profundidad mucho más finas y robustas mediante tres prácticas clave: 1) reemplazar todas las imágenes reales etiquetadas con imágenes sintéticas, 2) escalar la capacidad de nuestro modelo maestro, y 3) enseñar a los modelos estudiantes a través del puente de imágenes reales pseudoetiquetadas a gran escala. En comparación con los últimos modelos basados en Stable Diffusion, nuestros modelos son significativamente más eficientes (más de 10 veces más rápidos) y más precisos. Ofrecemos modelos de diferentes escalas (que van desde 25M hasta 1.3B parámetros) para apoyar una amplia gama de escenarios. Beneficiándonos de su fuerte capacidad de generalización, los ajustamos con etiquetas de profundidad métrica para obtener nuestros modelos de profundidad métrica. Además de nuestros modelos, considerando la diversidad limitada y el ruido frecuente en los conjuntos de prueba actuales, construimos un benchmark de evaluación versátil con anotaciones precisas y escenas diversas para facilitar futuras investigaciones.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.