Depth Anything V2

Samenvatting

Dit werk presenteert Depth Anything V2. Zonder gebruik te maken van ingewikkelde technieken, streven we ernaar cruciale bevindingen te onthullen om de weg te effenen naar het bouwen van een krachtig model voor monocular depth estimation. Opmerkelijk is dat deze versie, vergeleken met V1, veel fijnere en robuustere dieptevoorspellingen produceert door drie belangrijke praktijken: 1) het vervangen van alle gelabelde echte afbeeldingen door synthetische afbeeldingen, 2) het opschalen van de capaciteit van ons leraarmodel, en 3) het onderwijzen van studentmodellen via de brug van grootschalige pseudo-gelabelde echte afbeeldingen. Vergeleken met de nieuwste modellen gebaseerd op Stable Diffusion, zijn onze modellen aanzienlijk efficiënter (meer dan 10x sneller) en nauwkeuriger. We bieden modellen van verschillende schalen (variërend van 25M tot 1.3B parameters) om uitgebreide scenario's te ondersteunen. Dankzij hun sterke generalisatievermogen, fine-tunen we ze met metrische dieptelabels om onze metrische dieptemodellen te verkrijgen. Naast onze modellen, en gezien de beperkte diversiteit en frequente ruis in huidige test sets, construeren we een veelzijdige evaluatiebenchmark met precieze annotaties en diverse scènes om toekomstig onderzoek te faciliteren.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.