DVD: Детерминированное оценивание глубины видео с использованием генеративных априорных знаний

DVD: Deterministic Video Depth Estimation with Generative Priors

March 12, 2026

Авторы: Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen

cs.AI

Аннотация

Существующие методы оценки глубины на видео сталкиваются с фундаментальным компромиссом: генеративные модели страдают от стохастических геометрических галлюцинаций и дрейфа масштаба, в то время как дискриминативные модели требуют огромных размеченных наборов данных для разрешения семантических неоднозначностей. Чтобы преодолеть этот тупик, мы представляем DVD — первую структуру, которая детерминированно адаптирует предварительно обученные диффузионные модели для видео в регрессоры глубины, работающие за один проход. В частности, DVD включает три ключевых разработки: (i) перепрофилирование шага диффузии в качестве структурного якоря для балансировки глобальной стабильности и высокочастотных деталей; (ii) ректификацию латентного многообразия (LMR) для смягчения вызванного регрессией чрезмерного сглаживания, с применением дифференциальных ограничений для восстановления резких границ и согласованного движения; и (iii) глобальную аффинную согласованность — внутреннее свойство, ограничивающее межоконную дивергенцию, что позволяет осуществлять бесшумный вывод для длинных видео без сложного временного выравнивания. Многочисленные эксперименты демонстрируют, что DVD достигает наилучших показателей в условиях zero-shot на различных бенчмарках. Более того, DVD успешно раскрывает глубокие геометрические априорные знания, неявно присутствующие в фоновых моделях для видео, используя в 163 раза меньше целевых данных по сравнению с ведущими базовыми методами. Примечательно, что мы полностью публикуем наш конвейер, предоставляя полный набор инструментов для обучения передовым методам оценки глубины на видео в интересах сообщества открытого исходного кода.

English

Existing video depth estimation faces a fundamental trade-off: generative models suffer from stochastic geometric hallucinations and scale drift, while discriminative models demand massive labeled datasets to resolve semantic ambiguities. To break this impasse, we present DVD, the first framework to deterministically adapt pre-trained video diffusion models into single-pass depth regressors. Specifically, DVD features three core designs: (i) repurposing the diffusion timestep as a structural anchor to balance global stability with high-frequency details; (ii) latent manifold rectification (LMR) to mitigate regression-induced over-smoothing, enforcing differential constraints to restore sharp boundaries and coherent motion; and (iii) global affine coherence, an inherent property bounding inter-window divergence, which enables seamless long-video inference without requiring complex temporal alignment. Extensive experiments demonstrate that DVD achieves state-of-the-art zero-shot performance across benchmarks. Furthermore, DVD successfully unlocks the profound geometric priors implicit in video foundation models using 163x less task-specific data than leading baselines. Notably, we fully release our pipeline, providing the whole training suite for SOTA video depth estimation to benefit the open-source community.