Depth Anything: Liberando o Poder de Dados Não Rotulados em Grande Escala

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

January 19, 2024

Autores: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Resumo

Este trabalho apresenta o Depth Anything, uma solução altamente prática para estimativa robusta de profundidade monocular. Sem buscar módulos técnicos inovadores, nosso objetivo é construir um modelo de base simples, porém poderoso, capaz de lidar com qualquer imagem em qualquer circunstância. Para isso, ampliamos o conjunto de dados projetando um mecanismo de coleta e anotação automática de dados não rotulados em grande escala (~62M), o que aumenta significativamente a cobertura dos dados e, consequentemente, reduz o erro de generalização. Investigamos duas estratégias simples, porém eficazes, que tornam promissora a ampliação dos dados. Primeiro, um alvo de otimização mais desafiador é criado por meio de ferramentas de aumento de dados. Isso obriga o modelo a buscar ativamente conhecimento visual adicional e adquirir representações robustas. Segundo, uma supervisão auxiliar é desenvolvida para forçar o modelo a herdar ricos pré-conhecimentos semânticos de codificadores pré-treinados. Avaliamos extensivamente suas capacidades zero-shot, incluindo seis conjuntos de dados públicos e fotos capturadas aleatoriamente. Ele demonstra uma impressionante capacidade de generalização. Além disso, ao ajustá-lo com informações de profundidade métrica do NYUv2 e KITTI, novos SOTAs são estabelecidos. Nosso modelo de profundidade aprimorado também resulta em um ControlNet condicionado por profundidade melhorado. Nossos modelos estão disponíveis em https://github.com/LiheYoung/Depth-Anything.

English

This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.