Depth Anything: Het Benutten van de Kracht van Grootschalige Ongelabelde Data

Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

January 19, 2024

Auteurs: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Samenvatting

Dit werk presenteert Depth Anything, een zeer praktische oplossing voor robuuste monocular depth estimation. Zonder te streven naar nieuwe technische modules, streven we ernaar een eenvoudig maar krachtig foundation model te bouwen dat omgaat met alle afbeeldingen onder alle omstandigheden. Hiertoe schalen we de dataset op door een data-engine te ontwerpen om grootschalige ongelabelde data (~62M) te verzamelen en automatisch te annoteren, wat de datadekking aanzienlijk vergroot en daardoor de generalisatiefout kan verminderen. We onderzoeken twee eenvoudige maar effectieve strategieën die het opschalen van data veelbelovend maken. Ten eerste wordt een uitdagender optimalisatiedoel gecreëerd door gebruik te maken van data-augmentatietools. Dit dwingt het model om actief extra visuele kennis te zoeken en robuuste representaties te verwerven. Ten tweede wordt een aanvullende supervisie ontwikkeld om het model te dwingen rijke semantische priors over te nemen van vooraf getrainde encoders. We evalueren de zero-shot-mogelijkheden uitgebreid, waaronder zes openbare datasets en willekeurig vastgelegde foto's. Het toont indrukwekkende generalisatievermogen. Verder worden door fine-tuning met metrische diepte-informatie van NYUv2 en KITTI nieuwe SOTA's bereikt. Ons betere dieptemodel resulteert ook in een beter diepte-geconditioneerd ControlNet. Onze modellen zijn vrijgegeven op https://github.com/LiheYoung/Depth-Anything.

English

This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.