Tiefe Alles V2

Depth Anything V2

June 13, 2024

Autoren: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, Hengshuang Zhao

cs.AI

Zusammenfassung

Diese Arbeit präsentiert Depth Anything V2. Ohne aufwendige Techniken zu verfolgen, zielen wir darauf ab, wichtige Erkenntnisse aufzudecken, um den Weg für den Aufbau eines leistungsstarken monokularen Tiefenschätzungsmodells zu ebnen. Insbesondere produziert diese Version im Vergleich zu V1 durch drei Schlüsselpraktiken wesentlich feinere und robustere Tiefenvorhersagen: 1) Ersetzen aller gelabelten echten Bilder durch synthetische Bilder, 2) Erhöhen der Kapazität unseres Lehrermodells und 3) Unterrichten von Schülermodellen über die Brücke großer pseudo-gelabelter echter Bilder. Im Vergleich zu den neuesten Modellen, die auf Stable Diffusion aufbauen, sind unsere Modelle signifikant effizienter (mehr als 10-mal schneller) und genauer. Wir bieten Modelle unterschiedlicher Größenordnungen (von 25M bis 1,3B Parametern) zur Unterstützung umfangreicher Szenarien an. Dank ihrer starken Verallgemeinerungsfähigkeit feinjustieren wir sie mit metrischen Tiefenlabels, um unsere metrischen Tiefenmodelle zu erhalten. Neben unseren Modellen, angesichts der begrenzten Vielfalt und häufigen Störungen in aktuellen Testsets, konstruieren wir einen vielseitigen Evaluierungsbenchmark mit präzisen Annotationen und vielfältigen Szenen, um zukünftige Forschung zu erleichtern.

English

This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.