Глубокое Всё V2

Depth Anything V2

June 13, 2024

Авторы: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Аннотация

Эта работа представляет Depth Anything V2. Не стремясь к изысканным техникам, мы нацелены на выявление ключевых результатов, чтобы проложить путь к созданию мощной модели оценки глубины по одному изображению. Отмечается, что по сравнению с V1, эта версия производит более точные и надежные прогнозы глубины благодаря трем ключевым практикам: 1) замене всех размеченных реальных изображений синтетическими изображениями, 2) увеличению мощности нашей учительской модели и 3) обучению студенческих моделей через мост большомасштабных псевдо-размеченных реальных изображений. По сравнению с последними моделями, построенными на Stable Diffusion, наши модели значительно более эффективны (более чем в 10 раз быстрее) и точнее. Мы предлагаем модели различных масштабов (от 25 млн до 1,3 млрд параметров) для поддержки разнообразных сценариев. Благодаря их сильной обобщающей способности, мы донастраиваем их с метрическими метками глубины для получения наших моделей метрической глубины. Помимо наших моделей, учитывая ограниченное разнообразие и частый шум в текущих тестовых наборах, мы создаем универсальный бенчмарк оценки с точными аннотациями и разнообразными сценами для облегчения будущих исследований.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.