Гибридная агрегация признаков с поэтапным языковым управлением от грубого к точному для самоконтролируемой оценки монохромной глубины

Hybrid-grained Feature Aggregation with Coarse-to-fine Language Guidance for Self-supervised Monocular Depth Estimation

October 10, 2025

Авторы: Wenyao Zhang, Hongsi Liu, Bohan Li, Jiawei He, Zekun Qi, Yunnan Wang, Shengyang Zhao, Xinqiang Yu, Wenjun Zeng, Xin Jin

cs.AI

Аннотация

Современные подходы к самоконтролируемой оценке монохромной глубины (MDE) сталкиваются с ограничениями производительности из-за недостаточного извлечения семантико-пространственных знаний. Для решения этой проблемы мы предлагаем Hybrid-depth, новую структуру, которая систематически интегрирует базовые модели (например, CLIP и DINO) для извлечения визуальных приоритетов и получения достаточной контекстной информации для MDE. Наш подход вводит прогрессивную структуру обучения от грубого к точному: 1) Во-первых, мы агрегируем многоуровневые признаки из CLIP (глобальная семантика) и DINO (локальные пространственные детали) под контрастным языковым руководством. Задача-посредник, сравнивающая близкие и удаленные участки изображений, разработана для обеспечения выравнивания признаков, учитывающих глубину, с использованием текстовых подсказок; 2) Затем, основываясь на грубых признаках, мы интегрируем информацию о положении камеры и поточечное языковое выравнивание для уточнения прогнозов глубины. Этот модуль легко интегрируется с существующими самоконтролируемыми конвейерами MDE (например, Monodepth2, ManyDepth) в качестве подключаемого кодировщика глубины, улучшая непрерывную оценку глубины. Агрегируя семантический контекст CLIP и пространственные детали DINO через языковое руководство, наш метод эффективно устраняет несоответствия гранулярности признаков. Многочисленные эксперименты на бенчмарке KITTI демонстрируют, что наш метод значительно превосходит современные методы по всем метрикам, что также действительно приносит пользу последующим задачам, таким как восприятие в BEV. Код доступен по адресу https://github.com/Zhangwenyao1/Hybrid-depth.

English

Current self-supervised monocular depth estimation (MDE) approaches encounter performance limitations due to insufficient semantic-spatial knowledge extraction. To address this challenge, we propose Hybrid-depth, a novel framework that systematically integrates foundation models (e.g., CLIP and DINO) to extract visual priors and acquire sufficient contextual information for MDE. Our approach introduces a coarse-to-fine progressive learning framework: 1) Firstly, we aggregate multi-grained features from CLIP (global semantics) and DINO (local spatial details) under contrastive language guidance. A proxy task comparing close-distant image patches is designed to enforce depth-aware feature alignment using text prompts; 2) Next, building on the coarse features, we integrate camera pose information and pixel-wise language alignment to refine depth predictions. This module seamlessly integrates with existing self-supervised MDE pipelines (e.g., Monodepth2, ManyDepth) as a plug-and-play depth encoder, enhancing continuous depth estimation. By aggregating CLIP's semantic context and DINO's spatial details through language guidance, our method effectively addresses feature granularity mismatches. Extensive experiments on the KITTI benchmark demonstrate that our method significantly outperforms SOTA methods across all metrics, which also indeed benefits downstream tasks like BEV perception. Code is available at https://github.com/Zhangwenyao1/Hybrid-depth.