Profundidade em Qualquer Condição

Resumo

Apresentamos o Depth Anything at Any Condition (DepthAnything-AC), um modelo de fundação para estimativa de profundidade monocular (MDE) capaz de lidar com diversas condições ambientais. Modelos anteriores de MDE de fundação alcançam desempenho impressionante em cenas gerais, mas não se saem bem em ambientes complexos do mundo real que envolvem condições desafiadoras, como variações de iluminação, climas adversos e distorções induzidas por sensores. Para superar os desafios da escassez de dados e da incapacidade de gerar pseudo-rótulos de alta qualidade a partir de imagens corrompidas, propomos um paradigma de ajuste fino de regularização de consistência não supervisionada que requer apenas uma quantidade relativamente pequena de dados não rotulados. Além disso, propomos a Restrição de Distância Espacial para impor explicitamente que o modelo aprenda relações relativas em nível de patch, resultando em limites semânticos mais claros e detalhes mais precisos. Resultados experimentais demonstram as capacidades zero-shot do DepthAnything-AC em diversos benchmarks, incluindo benchmarks de clima adverso do mundo real, benchmarks de corrupção sintética e benchmarks gerais. Página do Projeto: https://ghost233lism.github.io/depthanything-AC-page Código: https://github.com/HVision-NKU/DepthAnythingAC

English

We present Depth Anything at Any Condition (DepthAnything-AC), a foundation monocular depth estimation (MDE) model capable of handling diverse environmental conditions. Previous foundation MDE models achieve impressive performance across general scenes but not perform well in complex open-world environments that involve challenging conditions, such as illumination variations, adverse weather, and sensor-induced distortions. To overcome the challenges of data scarcity and the inability of generating high-quality pseudo-labels from corrupted images, we propose an unsupervised consistency regularization finetuning paradigm that requires only a relatively small amount of unlabeled data. Furthermore, we propose the Spatial Distance Constraint to explicitly enforce the model to learn patch-level relative relationships, resulting in clearer semantic boundaries and more accurate details. Experimental results demonstrate the zero-shot capabilities of DepthAnything-AC across diverse benchmarks, including real-world adverse weather benchmarks, synthetic corruption benchmarks, and general benchmarks. Project Page: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC