DepthCrafter : Génération de séquences de profondeur longues et cohérentes pour les vidéos en monde ouvert

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Auteurs: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Résumé

Malgré les avancées significatives dans l'estimation de profondeur monoculaire pour les images statiques, estimer la profondeur vidéo dans le monde ouvert reste un défi, car les vidéos du monde ouvert sont extrêmement diverses en contenu, en mouvement, en mouvement de caméra et en longueur. Nous présentons DepthCrafter, une méthode innovante pour générer des séquences de profondeur longues et temporellement cohérentes avec des détails complexes pour les vidéos du monde ouvert, sans nécessiter d'informations supplémentaires telles que les poses de caméra ou le flux optique. DepthCrafter atteint une capacité de généralisation aux vidéos du monde ouvert en entraînant un modèle vidéo-vers-profondeur à partir d'un modèle de diffusion image-vers-vidéo pré-entraîné, grâce à notre stratégie d'entraînement en trois étapes méticuleusement conçue avec les ensembles de données vidéo-profondeur appariées compilées. Notre approche d'entraînement permet au modèle de générer des séquences de profondeur de longueurs variables en une seule fois, jusqu'à 110 images, et de recueillir à la fois des détails de profondeur précis et une diversité de contenu riche à partir d'ensembles de données réalistes et synthétiques. Nous proposons également une stratégie d'inférence qui traite les vidéos extrêmement longues par estimation par segments et assemblage sans couture. Des évaluations complètes sur plusieurs ensembles de données révèlent que DepthCrafter atteint des performances de pointe dans l'estimation de profondeur vidéo en monde ouvert dans des paramètres de zéro-shot. De plus, DepthCrafter facilite diverses applications aval, y compris les effets visuels basés sur la profondeur et la génération de vidéos conditionnelles.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.