Depth Anything : Libérer le potentiel des données non étiquetées à grande échelle

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

January 19, 2024

Auteurs: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Résumé

Ce travail présente Depth Anything, une solution hautement pratique pour l'estimation robuste de la profondeur monoculaire. Sans chercher à développer de nouveaux modules techniques, nous visons à construire un modèle de base simple mais puissant capable de traiter n'importe quelle image dans n'importe quelle situation. Pour ce faire, nous augmentons l'échelle du jeu de données en concevant un moteur de données pour collecter et annoter automatiquement des données non labellisées à grande échelle (~62 millions), ce qui élargit considérablement la couverture des données et permet ainsi de réduire l'erreur de généralisation. Nous explorons deux stratégies simples mais efficaces qui rendent cette augmentation des données prometteuse. Premièrement, une cible d'optimisation plus exigeante est créée en exploitant des outils d'augmentation de données. Cela oblige le modèle à rechercher activement des connaissances visuelles supplémentaires et à acquérir des représentations robustes. Deuxièmement, une supervision auxiliaire est développée pour forcer le modèle à hériter de riches préconnaissances sémantiques à partir d'encodeurs pré-entraînés. Nous évaluons ses capacités de généralisation en mode zéro-shot de manière extensive, incluant six jeux de données publics et des photos capturées aléatoirement. Il démontre une impressionnante capacité de généralisation. De plus, en l'affinant avec des informations de profondeur métrique provenant de NYUv2 et KITTI, de nouveaux records de l'état de l'art (SOTA) sont établis. Notre meilleur modèle de profondeur conduit également à un meilleur ControlNet conditionné par la profondeur. Nos modèles sont disponibles à l'adresse suivante : https://github.com/LiheYoung/Depth-Anything.

English

This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.