Hybride Feature-aggregatie met Grof-naar-fijn Taalbegeleiding voor Zelfsupervisie Monoculaire Diepteschatting

Hybrid-grained Feature Aggregation with Coarse-to-fine Language Guidance for Self-supervised Monocular Depth Estimation

October 10, 2025

Auteurs: Wenyao Zhang, Hongsi Liu, Bohan Li, Jiawei He, Zekun Qi, Yunnan Wang, Shengyang Zhao, Xinqiang Yu, Wenjun Zeng, Xin Jin

cs.AI

Samenvatting

Huidige zelfgesuperviseerde monocular depth estimation (MDE) benaderingen ondervinden prestatiebeperkingen door onvoldoende extractie van semantisch-ruimtelijke kennis. Om deze uitdaging aan te pakken, stellen we Hybrid-depth voor, een nieuw raamwerk dat foundation modellen (bijv. CLIP en DINO) systematisch integreert om visuele priors te extraheren en voldoende contextuele informatie te verkrijgen voor MDE. Onze aanpak introduceert een coarse-to-fine progressief leerraamwerk: 1) Ten eerste aggregeren we multi-granulaire kenmerken van CLIP (globale semantiek) en DINO (lokale ruimtelijke details) onder contrastieve taalbegeleiding. Een proxy-taak die close-distant beeldpatches vergelijkt, is ontworpen om diepte-bewuste kenmerkuitlijning af te dwingen met behulp van tekstprompts; 2) Vervolgens bouwen we voort op de grove kenmerken en integreren we camerapose-informatie en pixelgewijze taaluitlijning om dieptevoorspellingen te verfijnen. Deze module integreert naadloos met bestaande zelfgesuperviseerde MDE-pipelines (bijv. Monodepth2, ManyDepth) als een plug-and-play dieptecoder, waardoor continue diepteschatting wordt verbeterd. Door CLIP's semantische context en DINO's ruimtelijke details te aggregeren via taalbegeleiding, lost onze methode effectief mismatches in kenmerkgranulariteit op. Uitgebreide experimenten op de KITTI-benchmark tonen aan dat onze methode aanzienlijk beter presteert dan SOTA-methoden op alle metrieken, wat ook daadwerkelijk voordelen biedt voor downstream taken zoals BEV-perceptie. Code is beschikbaar op https://github.com/Zhangwenyao1/Hybrid-depth.

English

Current self-supervised monocular depth estimation (MDE) approaches encounter performance limitations due to insufficient semantic-spatial knowledge extraction. To address this challenge, we propose Hybrid-depth, a novel framework that systematically integrates foundation models (e.g., CLIP and DINO) to extract visual priors and acquire sufficient contextual information for MDE. Our approach introduces a coarse-to-fine progressive learning framework: 1) Firstly, we aggregate multi-grained features from CLIP (global semantics) and DINO (local spatial details) under contrastive language guidance. A proxy task comparing close-distant image patches is designed to enforce depth-aware feature alignment using text prompts; 2) Next, building on the coarse features, we integrate camera pose information and pixel-wise language alignment to refine depth predictions. This module seamlessly integrates with existing self-supervised MDE pipelines (e.g., Monodepth2, ManyDepth) as a plug-and-play depth encoder, enhancing continuous depth estimation. By aggregating CLIP's semantic context and DINO's spatial details through language guidance, our method effectively addresses feature granularity mismatches. Extensive experiments on the KITTI benchmark demonstrate that our method significantly outperforms SOTA methods across all metrics, which also indeed benefits downstream tasks like BEV perception. Code is available at https://github.com/Zhangwenyao1/Hybrid-depth.