DVD: Stima Deterministica della Profondità Video con Prior Generativi

DVD: Deterministic Video Depth Estimation with Generative Priors

March 12, 2026

Autori: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen

cs.AI

Abstract

L’estimazione della profondità da video esistenti affronta un compromesso fondamentale: i modelli generativi soffrono di allucinazioni geometriche stocastiche e deriva di scala, mentre i modelli discriminativi richiedono enormi dataset etichettati per risolvere ambiguità semantiche. Per superare questa impasse, presentiamo DVD, il primo framework che adatta deterministicamente modelli di diffusione video pre-addestrati in regressori di profondità a passaggio singolo. Nello specifico, DVD presenta tre design chiave: (i) il riutilizzo del timestep di diffusione come ancora strutturale per bilanciare stabilità globale e dettagli ad alta frequenza; (ii) la rettifica della varietà latente (LMR) per mitigare l’eccessiva levigatezza indotta dalla regressione, applicando vincoli differenziali per ripristinare contorni netti e moto coerente; e (iii) la coerenza affine globale, una proprietà intrinseca che delimita la divergenza inter-finestra, consentendo inferenze su video lunghi senza necessità di complessi allineamenti temporali. Esperimenti estensivi dimostrano che DVD raggiunge prestazioni zero-shot all’avanguardia su diversi benchmark. Inoltre, DVD sblocca con successo i profondi prior geometrici impliciti nei modelli foundation video utilizzando 163 volte meno dati task-specific rispetto ai principali baseline. Notevolmente, rilasciamo integralmente la nostra pipeline, fornendo l’intera suite di addestramento per l’estimazione della profondità video allo stato dell’arte a beneficio della comunità open-source.

English

Existing video depth estimation faces a fundamental trade-off: generative models suffer from stochastic geometric hallucinations and scale drift, while discriminative models demand massive labeled datasets to resolve semantic ambiguities. To break this impasse, we present DVD, the first framework to deterministically adapt pre-trained video diffusion models into single-pass depth regressors. Specifically, DVD features three core designs: (i) repurposing the diffusion timestep as a structural anchor to balance global stability with high-frequency details; (ii) latent manifold rectification (LMR) to mitigate regression-induced over-smoothing, enforcing differential constraints to restore sharp boundaries and coherent motion; and (iii) global affine coherence, an inherent property bounding inter-window divergence, which enables seamless long-video inference without requiring complex temporal alignment. Extensive experiments demonstrate that DVD achieves state-of-the-art zero-shot performance across benchmarks. Furthermore, DVD successfully unlocks the profound geometric priors implicit in video foundation models using 163x less task-specific data than leading baselines. Notably, we fully release our pipeline, providing the whole training suite for SOTA video depth estimation to benefit the open-source community.