Agrégation de caractéristiques multi-échelles avec guidage linguistique grossier à fin pour l'estimation de profondeur monoculaire auto-supervisée

Hybrid-grained Feature Aggregation with Coarse-to-fine Language Guidance for Self-supervised Monocular Depth Estimation

October 10, 2025

papers.authors: Wenyao Zhang, Hongsi Liu, Bohan Li, Jiawei He, Zekun Qi, Yunnan Wang, Shengyang Zhao, Xinqiang Yu, Wenjun Zeng, Xin Jin

cs.AI

papers.abstract

Les approches actuelles d'estimation de profondeur monoculaire auto-supervisée (MDE) rencontrent des limitations de performance dues à une extraction insuffisante des connaissances sémantico-spatiales. Pour relever ce défi, nous proposons Hybrid-depth, un nouveau cadre systématiquement intégrant des modèles de base (par exemple, CLIP et DINO) pour extraire des a priori visuels et acquérir des informations contextuelles suffisantes pour la MDE. Notre approche introduit un cadre d'apprentissage progressif du grossier au fin : 1) Tout d'abord, nous agrégeons des caractéristiques multi-granulaires de CLIP (sémantique globale) et de DINO (détails spatiaux locaux) sous guidage linguistique contrastif. Une tâche proxy comparant des patches d'images proches-lointaines est conçue pour imposer un alignement des caractéristiques sensible à la profondeur en utilisant des invites textuelles ; 2) Ensuite, en nous appuyant sur les caractéristiques grossières, nous intégrons des informations sur la pose de la caméra et un alignement linguistique pixel par pixel pour affiner les prédictions de profondeur. Ce module s'intègre de manière transparente avec les pipelines MDE auto-supervisés existants (par exemple, Monodepth2, ManyDepth) en tant qu'encodeur de profondeur plug-and-play, améliorant l'estimation continue de la profondeur. En agrégeant le contexte sémantique de CLIP et les détails spatiaux de DINO à travers un guidage linguistique, notre méthode résout efficacement les inadéquations de granularité des caractéristiques. Des expériences approfondies sur le benchmark KITTI démontrent que notre méthode surpasse significativement les méthodes SOTA sur tous les indicateurs, ce qui profite également aux tâches en aval comme la perception BEV. Le code est disponible à l'adresse https://github.com/Zhangwenyao1/Hybrid-depth.

English

Current self-supervised monocular depth estimation (MDE) approaches encounter performance limitations due to insufficient semantic-spatial knowledge extraction. To address this challenge, we propose Hybrid-depth, a novel framework that systematically integrates foundation models (e.g., CLIP and DINO) to extract visual priors and acquire sufficient contextual information for MDE. Our approach introduces a coarse-to-fine progressive learning framework: 1) Firstly, we aggregate multi-grained features from CLIP (global semantics) and DINO (local spatial details) under contrastive language guidance. A proxy task comparing close-distant image patches is designed to enforce depth-aware feature alignment using text prompts; 2) Next, building on the coarse features, we integrate camera pose information and pixel-wise language alignment to refine depth predictions. This module seamlessly integrates with existing self-supervised MDE pipelines (e.g., Monodepth2, ManyDepth) as a plug-and-play depth encoder, enhancing continuous depth estimation. By aggregating CLIP's semantic context and DINO's spatial details through language guidance, our method effectively addresses feature granularity mismatches. Extensive experiments on the KITTI benchmark demonstrate that our method significantly outperforms SOTA methods across all metrics, which also indeed benefits downstream tasks like BEV perception. Code is available at https://github.com/Zhangwenyao1/Hybrid-depth.