DVD: Deterministische Videotiefenschätzung mit generativen Prioritäten
DVD: Deterministic Video Depth Estimation with Generative Priors
March 12, 2026
Autoren: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen
cs.AI
Zusammenfassung
Die bestehende Videotiefenschätzung steht vor einem grundlegenden Zielkonflikt: Generative Modelle leiden unter stochastischen geometrischen Halluzinationen und Maßstabsdrift, während diskriminative Modelle riesige Mengen an gelabelten Daten benötigen, um semantische Mehrdeutigkeiten aufzulösen. Um diese Sackgasse zu überwinden, stellen wir DVD vor, den ersten Rahmen, der vortrainierte Videodiffusionsmodelle deterministisch zu Einzel-Durchlauf-Tiefenregressoren adaptiert. Konkret zeichnet sich DVD durch drei Kerndesigns aus: (i) die Umwidmung des Diffusions-Zeitschritts als strukturellen Anker, um globale Stabilität mit Hochfrequenzdetails in Einklang zu bringen; (ii) latente Mannigfaltigkeits-Rektifizierung (LMR) zur Milderung von durch Regression verursachter Übersättigung, durch Durchsetzung differentialer Zwangsbedingungen zur Wiederherstellung scharfer Grenzen und kohärenter Bewegung; und (iii) globale affine Kohärenz, eine inhärente Eigenschaft, die die Divergenz zwischen Fenstern begrenzt und nahtlose Rückschlüsse auf lange Videos ohne komplexe temporale Anpassung ermöglicht. Umfangreiche Experimente belegen, dass DVD state-of-the-art Zero-Shot-Leistung über Benchmarks hinweg erreicht. Darüber hinaus erschließt DVD erfolgreich die tiefgehenden geometrischen Priors, die in Video-Foundation-Modellen implizit vorhanden sind, und verwendet dabei 163-mal weniger aufgabenspezifische Daten als führende Baseline-Modelle. Bemerkenswerterweise stellen wir unsere Pipeline vollständig zur Verfügung und bieten die gesamte Trainingssuite für state-of-the-art Videotiefenschätzung, um die Open-Source-Community zu bereichern.
English
Existing video depth estimation faces a fundamental trade-off: generative models suffer from stochastic geometric hallucinations and scale drift, while discriminative models demand massive labeled datasets to resolve semantic ambiguities. To break this impasse, we present DVD, the first framework to deterministically adapt pre-trained video diffusion models into single-pass depth regressors. Specifically, DVD features three core designs: (i) repurposing the diffusion timestep as a structural anchor to balance global stability with high-frequency details; (ii) latent manifold rectification (LMR) to mitigate regression-induced over-smoothing, enforcing differential constraints to restore sharp boundaries and coherent motion; and (iii) global affine coherence, an inherent property bounding inter-window divergence, which enables seamless long-video inference without requiring complex temporal alignment. Extensive experiments demonstrate that DVD achieves state-of-the-art zero-shot performance across benchmarks. Furthermore, DVD successfully unlocks the profound geometric priors implicit in video foundation models using 163x less task-specific data than leading baselines. Notably, we fully release our pipeline, providing the whole training suite for SOTA video depth estimation to benefit the open-source community.