Depth Anything: Раскрытие потенциала крупномасштабных неразмеченных данных

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

January 19, 2024

Авторы: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Аннотация

В данной работе представлен Depth Anything – высокоэффективное решение для надежного монохромного оценивания глубины. Не стремясь к разработке новых технических модулей, мы ставим цель создать простую, но мощную базовую модель, способную обрабатывать любые изображения в любых условиях. Для этого мы масштабируем набор данных, разработав механизм сбора и автоматической аннотации крупномасштабных немаркированных данных (~62 млн), что значительно расширяет охват данных и, как следствие, позволяет снизить ошибку обобщения. Мы исследуем две простые, но эффективные стратегии, которые делают масштабирование данных перспективным. Во-первых, создается более сложная оптимизационная цель за счет использования инструментов аугментации данных. Это заставляет модель активно искать дополнительные визуальные знания и приобретать устойчивые представления. Во-вторых, разработано вспомогательное обучение, которое заставляет модель наследовать богатые семантические априорные знания от предварительно обученных кодировщиков. Мы тщательно оцениваем ее возможности в условиях zero-shot, включая шесть публичных наборов данных и случайно сделанные фотографии. Модель демонстрирует впечатляющую способность к обобщению. Кроме того, путем тонкой настройки с использованием метрической информации о глубине из NYUv2 и KITTI устанавливаются новые рекорды (SOTA). Наша улучшенная модель глубины также приводит к созданию более качественного ControlNet, учитывающего глубину. Наши модели доступны по адресу https://github.com/LiheYoung/Depth-Anything.

English

This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.