Tiefe in jeder Situation und unter allen Bedingungen

Zusammenfassung

Wir präsentieren Depth Anything at Any Condition (DepthAnything-AC), ein Foundation-Modell zur monokularen Tiefenschätzung (MDE), das in der Lage ist, diverse Umweltbedingungen zu bewältigen. Bisherige Foundation-MDE-Modelle erzielen beeindruckende Leistungen in allgemeinen Szenen, schneiden jedoch in komplexen, offenen Umgebungen mit herausfordernden Bedingungen wie Beleuchtungsvariationen, widrigem Wetter und sensorinduzierten Verzerrungen nicht gut ab. Um die Herausforderungen der Datenknappheit und der Unfähigkeit, hochwertige Pseudolabels aus beschädigten Bildern zu generieren, zu überwinden, schlagen wir ein unüberwachtes Konsistenzregularisierungs-Finetuning-Paradigma vor, das nur eine relativ geringe Menge an unmarkierten Daten erfordert. Darüber hinaus führen wir die Spatial Distance Constraint ein, um das Modell explizit dazu zu bringen, patch-basierte relative Beziehungen zu lernen, was zu klareren semantischen Grenzen und genaueren Details führt. Experimentelle Ergebnisse demonstrieren die Zero-Shot-Fähigkeiten von DepthAnything-AC über diverse Benchmarks hinweg, einschließlich realer Benchmarks für widriges Wetter, synthetischer Korruptions-Benchmarks und allgemeiner Benchmarks. Projektseite: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC

English

We present Depth Anything at Any Condition (DepthAnything-AC), a foundation monocular depth estimation (MDE) model capable of handling diverse environmental conditions. Previous foundation MDE models achieve impressive performance across general scenes but not perform well in complex open-world environments that involve challenging conditions, such as illumination variations, adverse weather, and sensor-induced distortions. To overcome the challenges of data scarcity and the inability of generating high-quality pseudo-labels from corrupted images, we propose an unsupervised consistency regularization finetuning paradigm that requires only a relatively small amount of unlabeled data. Furthermore, we propose the Spatial Distance Constraint to explicitly enforce the model to learn patch-level relative relationships, resulting in clearer semantic boundaries and more accurate details. Experimental results demonstrate the zero-shot capabilities of DepthAnything-AC across diverse benchmarks, including real-world adverse weather benchmarks, synthetic corruption benchmarks, and general benchmarks. Project Page: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC