Глубина в любых условиях и при любых обстоятельствах

Аннотация

Мы представляем Depth Anything at Any Condition (DepthAnything-AC) — базовую модель монохромного оценивания глубины (MDE), способную работать в разнообразных условиях окружающей среды. Предыдущие базовые модели MDE демонстрируют впечатляющие результаты в общих сценах, но не справляются с задачами в сложных открытых мирах, включающих сложные условия, такие как изменения освещения, неблагоприятные погодные условия и искажения, вызванные сенсорами. Для преодоления проблем недостатка данных и невозможности генерации высококачественных псевдометок из поврежденных изображений мы предлагаем парадигму тонкой настройки с использованием регуляризации на основе неподконтрольной согласованности, которая требует лишь относительно небольшого количества немаркированных данных. Кроме того, мы предлагаем ограничение на основе пространственного расстояния, чтобы явно заставить модель изучать относительные отношения на уровне патчей, что приводит к более четким семантическим границам и более точным деталям. Экспериментальные результаты демонстрируют возможности DepthAnything-AC в условиях нулевого обучения на различных тестовых наборах, включая наборы данных с неблагоприятными погодными условиями в реальном мире, синтетические наборы данных с искажениями и общие тестовые наборы. Страница проекта: https://ghost233lism.github.io/depthanything-AC-page Код: https://github.com/HVision-NKU/DepthAnythingAC

English

We present Depth Anything at Any Condition (DepthAnything-AC), a foundation monocular depth estimation (MDE) model capable of handling diverse environmental conditions. Previous foundation MDE models achieve impressive performance across general scenes but not perform well in complex open-world environments that involve challenging conditions, such as illumination variations, adverse weather, and sensor-induced distortions. To overcome the challenges of data scarcity and the inability of generating high-quality pseudo-labels from corrupted images, we propose an unsupervised consistency regularization finetuning paradigm that requires only a relatively small amount of unlabeled data. Furthermore, we propose the Spatial Distance Constraint to explicitly enforce the model to learn patch-level relative relationships, resulting in clearer semantic boundaries and more accurate details. Experimental results demonstrate the zero-shot capabilities of DepthAnything-AC across diverse benchmarks, including real-world adverse weather benchmarks, synthetic corruption benchmarks, and general benchmarks. Project Page: https://ghost233lism.github.io/depthanything-AC-page Code: https://github.com/HVision-NKU/DepthAnythingAC