DVD : Estimation Déterministe de la Profondeur Vidéo avec des A Priori Génératifs
DVD: Deterministic Video Depth Estimation with Generative Priors
March 12, 2026
Auteurs: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen
cs.AI
Résumé
L'estimation de profondeur vidéo actuelle est confrontée à un compromis fondamental : les modèles génératifs souffrent d'hallucinations géométriques stochastiques et de dérive d'échelle, tandis que les modèles discriminatifs exigent des ensembles de données étiquetées massifs pour résoudre les ambiguïtés sémantiques. Pour sortir de cette impasse, nous présentons DVD, le premier cadre permettant d'adapter de manière déterministe des modèles de diffusion vidéo pré-entraînés en régresseurs de profondeur en une seule passe. Plus précisément, DVD comporte trois conceptions fondamentales : (i) la réaffectation du pas de temps de diffusion comme ancre structurelle pour équilibrer la stabilité globale avec les détails haute fréquence ; (ii) la rectification de la variété latente (LMR) pour atténuer le lissage excessif induit par la régression, en appliquant des contraintes différentielles pour restaurer les contours nets et la cohérence du mouvement ; et (iii) la cohérence affine globale, une propriété inhérente qui borne la divergence inter-fenêtres, permettant une inférence vidéo longue sans nécessiter d'alignement temporel complexe. Des expériences approfondies démontrent que DVD atteint des performances state-of-the-art en généralisation zero-shot sur divers benchmarks. De plus, DVD déverrouille avec succès les profondes connaissances géométriques implicites dans les modèles de fondation vidéo en utilisant 163 fois moins de données spécifiques à la tâche que les meilleures méthodes de référence. Fait notable, nous publions entièrement notre pipeline, fournissant l'ensemble des outils d'entraînement pour l'estimation de profondeur vidéo state-of-the-art au profit de la communauté open-source.
English
Existing video depth estimation faces a fundamental trade-off: generative models suffer from stochastic geometric hallucinations and scale drift, while discriminative models demand massive labeled datasets to resolve semantic ambiguities. To break this impasse, we present DVD, the first framework to deterministically adapt pre-trained video diffusion models into single-pass depth regressors. Specifically, DVD features three core designs: (i) repurposing the diffusion timestep as a structural anchor to balance global stability with high-frequency details; (ii) latent manifold rectification (LMR) to mitigate regression-induced over-smoothing, enforcing differential constraints to restore sharp boundaries and coherent motion; and (iii) global affine coherence, an inherent property bounding inter-window divergence, which enables seamless long-video inference without requiring complex temporal alignment. Extensive experiments demonstrate that DVD achieves state-of-the-art zero-shot performance across benchmarks. Furthermore, DVD successfully unlocks the profound geometric priors implicit in video foundation models using 163x less task-specific data than leading baselines. Notably, we fully release our pipeline, providing the whole training suite for SOTA video depth estimation to benefit the open-source community.