Hybrid-granulare Merkmalsaggregation mit grob-zu-fein Sprachführung für selbstüberwachte monokulare Tiefenschätzung

Hybrid-grained Feature Aggregation with Coarse-to-fine Language Guidance for Self-supervised Monocular Depth Estimation

October 10, 2025

papers.authors: Wenyao Zhang, Hongsi Liu, Bohan Li, Jiawei He, Zekun Qi, Yunnan Wang, Shengyang Zhao, Xinqiang Yu, Wenjun Zeng, Xin Jin

cs.AI

papers.abstract

Aktuelle selbstüberwachte Ansätze zur monokularen Tiefenschätzung (MDE) stoßen auf Leistungsbeschränkungen aufgrund unzureichender Extraktion von semantisch-räumlichem Wissen. Um diese Herausforderung zu bewältigen, schlagen wir Hybrid-depth vor, ein neuartiges Framework, das systematisch Foundation-Modelle (z. B. CLIP und DINO) integriert, um visuelle Prioritäten zu extrahieren und ausreichende kontextuelle Informationen für MDE zu erlangen. Unser Ansatz führt ein grob-zu-fein progressives Lernframework ein: 1) Zunächst aggregieren wir mehrstufige Merkmale aus CLIP (globale Semantik) und DINO (lokale räumliche Details) unter kontrastiver Sprachführung. Eine Proxy-Aufgabe, die nahe und entfernte Bildausschnitte vergleicht, wird entworfen, um tiefenbewusste Merkmalsausrichtung mithilfe von Textprompts zu erzwingen; 2) Anschließend integrieren wir, basierend auf den groben Merkmalen, Kameraposeninformationen und pixelweise Sprachausrichtung, um die Tiefenvorhersagen zu verfeinern. Dieses Modul lässt sich nahtlos in bestehende selbstüberwachte MDE-Pipelines (z. B. Monodepth2, ManyDepth) als Plug-and-Play-Tiefenencoder integrieren und verbessert die kontinuierliche Tiefenschätzung. Durch die Aggregation von CLIPs semantischem Kontext und DINOs räumlichen Details mittels Sprachführung adressiert unsere Methode effektiv Fehlanpassungen der Merkmalsgranularität. Umfangreiche Experimente auf dem KITTI-Benchmark zeigen, dass unsere Methode die SOTA-Methoden in allen Metriken deutlich übertrifft, was auch tatsächlich nachgelagerte Aufgaben wie BEV-Wahrnehmung begünstigt. Der Code ist verfügbar unter https://github.com/Zhangwenyao1/Hybrid-depth.

English

Current self-supervised monocular depth estimation (MDE) approaches encounter performance limitations due to insufficient semantic-spatial knowledge extraction. To address this challenge, we propose Hybrid-depth, a novel framework that systematically integrates foundation models (e.g., CLIP and DINO) to extract visual priors and acquire sufficient contextual information for MDE. Our approach introduces a coarse-to-fine progressive learning framework: 1) Firstly, we aggregate multi-grained features from CLIP (global semantics) and DINO (local spatial details) under contrastive language guidance. A proxy task comparing close-distant image patches is designed to enforce depth-aware feature alignment using text prompts; 2) Next, building on the coarse features, we integrate camera pose information and pixel-wise language alignment to refine depth predictions. This module seamlessly integrates with existing self-supervised MDE pipelines (e.g., Monodepth2, ManyDepth) as a plug-and-play depth encoder, enhancing continuous depth estimation. By aggregating CLIP's semantic context and DINO's spatial details through language guidance, our method effectively addresses feature granularity mismatches. Extensive experiments on the KITTI benchmark demonstrate that our method significantly outperforms SOTA methods across all metrics, which also indeed benefits downstream tasks like BEV perception. Code is available at https://github.com/Zhangwenyao1/Hybrid-depth.