Agregación de Características de Grano Híbrido con Guía Lingüística de Coarse a Fine para la Estimación de Profundidad Monocular Autosupervisada

Hybrid-grained Feature Aggregation with Coarse-to-fine Language Guidance for Self-supervised Monocular Depth Estimation

October 10, 2025

Autores: Wenyao Zhang, Hongsi Liu, Bohan Li, Jiawei He, Zekun Qi, Yunnan Wang, Shengyang Zhao, Xinqiang Yu, Wenjun Zeng, Xin Jin

cs.AI

Resumen

Los enfoques actuales de estimación de profundidad monocular autosupervisada (MDE, por sus siglas en inglés) enfrentan limitaciones de rendimiento debido a una extracción insuficiente de conocimiento semántico-espacial. Para abordar este desafío, proponemos Hybrid-depth, un marco novedoso que integra sistemáticamente modelos fundacionales (por ejemplo, CLIP y DINO) para extraer conocimientos visuales previos y adquirir información contextual suficiente para MDE. Nuestro enfoque introduce un marco de aprendizaje progresivo de lo general a lo específico: 1) En primer lugar, agregamos características multigranulares de CLIP (semántica global) y DINO (detalles espaciales locales) bajo la guía de lenguaje contrastivo. Se diseña una tarea proxy que compara parches de imágenes cercanos y lejanos para reforzar la alineación de características conscientes de la profundidad utilizando indicaciones de texto; 2) A continuación, basándonos en las características generales, integramos información de la pose de la cámara y alineación de lenguaje a nivel de píxeles para refinar las predicciones de profundidad. Este módulo se integra perfectamente con las canalizaciones existentes de MDE autosupervisadas (por ejemplo, Monodepth2, ManyDepth) como un codificador de profundidad plug-and-play, mejorando la estimación continua de profundidad. Al agregar el contexto semántico de CLIP y los detalles espaciales de DINO mediante la guía del lenguaje, nuestro método aborda eficazmente los desajustes en la granularidad de las características. Experimentos exhaustivos en el benchmark KITTI demuestran que nuestro método supera significativamente a los métodos de última generación (SOTA) en todas las métricas, lo que también beneficia tareas posteriores como la percepción BEV. El código está disponible en https://github.com/Zhangwenyao1/Hybrid-depth.

English

Current self-supervised monocular depth estimation (MDE) approaches encounter performance limitations due to insufficient semantic-spatial knowledge extraction. To address this challenge, we propose Hybrid-depth, a novel framework that systematically integrates foundation models (e.g., CLIP and DINO) to extract visual priors and acquire sufficient contextual information for MDE. Our approach introduces a coarse-to-fine progressive learning framework: 1) Firstly, we aggregate multi-grained features from CLIP (global semantics) and DINO (local spatial details) under contrastive language guidance. A proxy task comparing close-distant image patches is designed to enforce depth-aware feature alignment using text prompts; 2) Next, building on the coarse features, we integrate camera pose information and pixel-wise language alignment to refine depth predictions. This module seamlessly integrates with existing self-supervised MDE pipelines (e.g., Monodepth2, ManyDepth) as a plug-and-play depth encoder, enhancing continuous depth estimation. By aggregating CLIP's semantic context and DINO's spatial details through language guidance, our method effectively addresses feature granularity mismatches. Extensive experiments on the KITTI benchmark demonstrate that our method significantly outperforms SOTA methods across all metrics, which also indeed benefits downstream tasks like BEV perception. Code is available at https://github.com/Zhangwenyao1/Hybrid-depth.