Profondeur en Toute Situation et à Toute Condition

Résumé

Nous présentons Depth Anything at Any Condition (DepthAnything-AC), un modèle fondamental d'estimation de profondeur monoculaire (MDE) capable de gérer diverses conditions environnementales. Les modèles MDE fondamentaux précédents obtiennent des performances impressionnantes dans des scènes générales, mais ne parviennent pas à bien fonctionner dans des environnements ouverts complexes impliquant des conditions difficiles, telles que des variations d'éclairage, des intempéries et des distorsions induites par les capteurs. Pour surmonter les défis liés à la rareté des données et à l'incapacité de générer des pseudo-étiquettes de haute qualité à partir d'images corrompues, nous proposons un paradigme de réglage fin de régularisation de cohérence non supervisé qui ne nécessite qu'une quantité relativement faible de données non étiquetées. De plus, nous proposons la Contrainte de Distance Spatiale pour contraindre explicitement le modèle à apprendre les relations relatives au niveau des patchs, ce qui permet d'obtenir des limites sémantiques plus nettes et des détails plus précis. Les résultats expérimentaux démontrent les capacités de généralisation sans apprentissage préalable (zero-shot) de DepthAnything-AC sur divers benchmarks, y compris des benchmarks d'intempéries réelles, des benchmarks de corruption synthétique et des benchmarks généraux. Page du projet : https://ghost233lism.github.io/depthanything-AC-page Code : https://github.com/HVision-NKU/DepthAnythingAC

English

We present Depth Anything at Any Condition (DepthAnything-AC), a foundation monocular depth estimation (MDE) model capable of handling diverse environmental conditions. Previous foundation MDE models achieve impressive performance across general scenes but not perform well in complex open-world environments that involve challenging conditions, such as illumination variations, adverse weather, and sensor-induced distortions. To overcome the challenges of data scarcity and the inability of generating high-quality pseudo-labels from corrupted images, we propose an unsupervised consistency regularization finetuning paradigm that requires only a relatively small amount of unlabeled data. Furthermore, we propose the Spatial Distance Constraint to explicitly enforce the model to learn patch-level relative relationships, resulting in clearer semantic boundaries and more accurate details. Experimental results demonstrate the zero-shot capabilities of DepthAnything-AC across diverse benchmarks, including real-world adverse weather benchmarks, synthetic corruption benchmarks, and general benchmarks. Project Page: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC