DepthCrafter: Generando Secuencias Largas de Profundidad Consistentes para Videos de Mundo Abierto

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Autores: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Resumen

A pesar de los significativos avances en la estimación de profundidad monocular para imágenes estáticas, estimar la profundidad de video en el mundo abierto sigue siendo un desafío, ya que los videos de mundo abierto son extremadamente diversos en contenido, movimiento, movimiento de cámara y duración. Presentamos DepthCrafter, un método innovador para generar secuencias de profundidad largas temporalmente consistentes con detalles intrincados para videos de mundo abierto, sin necesidad de información adicional como poses de cámara u flujo óptico. DepthCrafter logra capacidad de generalización a videos de mundo abierto entrenando un modelo de video a profundidad a partir de un modelo de difusión de imagen a video pre-entrenado, a través de nuestra estrategia de entrenamiento de tres etapas meticulosamente diseñada con conjuntos de datos de video-profundidad emparejados compilados. Nuestro enfoque de entrenamiento permite que el modelo genere secuencias de profundidad con longitudes variables a la vez, de hasta 110 cuadros, y extraiga tanto detalles precisos de profundidad como diversidad de contenido rico de conjuntos de datos realistas y sintéticos. También proponemos una estrategia de inferencia que procesa videos extremadamente largos a través de estimación por segmentos y unión sin problemas. Evaluaciones exhaustivas en múltiples conjuntos de datos revelan que DepthCrafter logra un rendimiento de vanguardia en la estimación de profundidad de video de mundo abierto en configuraciones de cero disparos. Además, DepthCrafter facilita varias aplicaciones secundarias, incluidos efectos visuales basados en profundidad y generación condicional de video.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.