Diepte Alles onder Elke Voorwaarde

Samenvatting

We presenteren Depth Anything at Any Condition (DepthAnything-AC), een fundamenteel model voor monocular depth estimation (MDE) dat in staat is om diverse omgevingscondities te hanteren. Eerdere fundamentele MDE-modellen behalen indrukwekkende prestaties in algemene scènes, maar presteren minder goed in complexe open-wereldomgevingen die uitdagende condities omvatten, zoals variaties in belichting, extreem weer en door sensoren veroorzaakte verstoringen. Om de uitdagingen van dataschaarste en het onvermogen om hoogwaardige pseudo-labels te genereren uit beschadigde afbeeldingen te overwinnen, stellen we een unsupervised consistency regularization finetuning-paradigma voor dat slechts een relatief kleine hoeveelheid ongelabelde data vereist. Bovendien introduceren we de Spatial Distance Constraint om het model expliciet te dwingen om patch-level relatieve relaties te leren, wat resulteert in duidelijkere semantische grenzen en nauwkeurigere details. Experimentele resultaten tonen de zero-shot-capaciteiten van DepthAnything-AC aan over diverse benchmarks, waaronder real-world benchmarks voor extreem weer, synthetische corruptiebenchmarks en algemene benchmarks. Projectpagina: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC

English

We present Depth Anything at Any Condition (DepthAnything-AC), a foundation monocular depth estimation (MDE) model capable of handling diverse environmental conditions. Previous foundation MDE models achieve impressive performance across general scenes but not perform well in complex open-world environments that involve challenging conditions, such as illumination variations, adverse weather, and sensor-induced distortions. To overcome the challenges of data scarcity and the inability of generating high-quality pseudo-labels from corrupted images, we propose an unsupervised consistency regularization finetuning paradigm that requires only a relatively small amount of unlabeled data. Furthermore, we propose the Spatial Distance Constraint to explicitly enforce the model to learn patch-level relative relationships, resulting in clearer semantic boundaries and more accurate details. Experimental results demonstrate the zero-shot capabilities of DepthAnything-AC across diverse benchmarks, including real-world adverse weather benchmarks, synthetic corruption benchmarks, and general benchmarks. Project Page: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC