DVD: Deterministische Videodiepteschatting met Generatieve Prioren

DVD: Deterministic Video Depth Estimation with Generative Priors

March 12, 2026

Auteurs: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen

cs.AI

Samenvatting

Bestaande videodiepteschatting kampt met een fundamentele afweging: generatieve modellen lijden onder stochastische geometrische hallucinaties en schaalafwijkingen, terwijl discriminatieve modellen enorme gelabelde datasets vereisen om semantische ambiguïteiten op te lossen. Om deze impasse te doorbreken, presenteren wij DVD, het eerste raamwerk dat voorgetrainde videodiffusiemodellen deterministisch aanpast tot enkelvoudige diepteregressoren. Concreet kent DVD drie kernontwerpelementen: (i) het herbestemmen van de diffusietijdstap als structureel anker om globale stabiliteit te balanceren met hoogfrequente details; (ii) latente manifold-rectificatie (LMR) om door regressie veroorzaakte overmatige vervaging tegen te gaan, door differentiële restricties op te leggen die scherpe randen en coherente beweging herstellen; en (iii) globale affiene coherentie, een inherente eigenschap die divergentie tussen vensters begrenst, waardoor naadloze inferentie over lange video's mogelijk wordt zonder complexe temporele alignering. Uitgebreide experimenten tonen aan dat DVD state-of-the-art zero-shot prestaties levert op diverse benchmarks. Bovendien ontsluit DVD met 163x minder taakspecifieke data dan toonaangevende baseline-methoden succesvol de diepgaande geometrische prioriteiten die impliciet aanwezig zijn in videofoundationmodellen. Opmerkelijk is dat wij onze pijplijn volledig vrijgeven, waarbij de complete trainingssuite voor state-of-the-art videodiepteschatting beschikbaar wordt gesteld ten behoeve van de open-sourcegemeenschap.

English

Existing video depth estimation faces a fundamental trade-off: generative models suffer from stochastic geometric hallucinations and scale drift, while discriminative models demand massive labeled datasets to resolve semantic ambiguities. To break this impasse, we present DVD, the first framework to deterministically adapt pre-trained video diffusion models into single-pass depth regressors. Specifically, DVD features three core designs: (i) repurposing the diffusion timestep as a structural anchor to balance global stability with high-frequency details; (ii) latent manifold rectification (LMR) to mitigate regression-induced over-smoothing, enforcing differential constraints to restore sharp boundaries and coherent motion; and (iii) global affine coherence, an inherent property bounding inter-window divergence, which enables seamless long-video inference without requiring complex temporal alignment. Extensive experiments demonstrate that DVD achieves state-of-the-art zero-shot performance across benchmarks. Furthermore, DVD successfully unlocks the profound geometric priors implicit in video foundation models using 163x less task-specific data than leading baselines. Notably, we fully release our pipeline, providing the whole training suite for SOTA video depth estimation to benefit the open-source community.