Depth Anything V2

Depth Anything V2

June 13, 2024

저자: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

초록

본 연구는 Depth Anything V2를 소개합니다. 화려한 기법을 추구하기보다는, 강력한 단안 깊이 추정 모델을 구축하기 위한 길을 열어줄 핵심적인 발견을 밝히는 데 주력했습니다. 특히, V1과 비교하여 이번 버전은 세 가지 주요 실천을 통해 훨씬 더 세밀하고 강력한 깊이 예측을 생성합니다: 1) 모든 레이블이 달린 실제 이미지를 합성 이미지로 대체, 2) 교사 모델의 용량 확장, 3) 대규모 의사 레이블이 달린 실제 이미지를 통해 학생 모델을 교육. Stable Diffusion 기반의 최신 모델들과 비교했을 때, 우리의 모델은 훨씬 더 효율적(10배 이상 빠름)이고 정확합니다. 다양한 시나리오를 지원하기 위해 다양한 규모의 모델(25M에서 1.3B 파라미터까지)을 제공합니다. 강력한 일반화 능력을 활용하여, 미터법 깊이 레이블로 미세 조정하여 미터법 깊이 모델을 얻었습니다. 또한, 현재 테스트 세트의 제한된 다양성과 잦은 노이즈를 고려하여, 정확한 주석과 다양한 장면을 갖춘 다목적 평가 벤치마크를 구축하여 향후 연구를 촉진했습니다.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.