DepthCrafter: Het genereren van consistente lange dieptesequenties voor open-wereldvideo's

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Auteurs: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang in monocular diepteschatting voor statische afbeeldingen, blijft het schatten van diepte in video's in de open wereld een uitdaging, aangezien open-wereldvideo's extreem divers zijn in inhoud, beweging, camerabeweging en lengte. Wij presenteren DepthCrafter, een innovatieve methode voor het genereren van temporeel consistente lange dieptesequenties met ingewikkelde details voor open-wereldvideo's, zonder aanvullende informatie zoals cameraposities of optische flow. DepthCrafter bereikt generalisatievermogen voor open-wereldvideo's door een video-naar-diepte model te trainen vanuit een vooraf getraind beeld-naar-video diffusiemodel, via onze zorgvuldig ontworpen drietraps trainingsstrategie met de samengestelde gepaarde video-diepte datasets. Onze trainingsaanpak stelt het model in staat om dieptesequenties met variabele lengtes in één keer te genereren, tot 110 frames, en zowel precieze dieptedetails als rijke inhoudsdiversiteit te oogsten uit realistische en synthetische datasets. We stellen ook een inferentiestrategie voor die extreem lange video's verwerkt via segmentgewijze schatting en naadloze samenvoeging. Uitgebreide evaluaties op meerdere datasets tonen aan dat DepthCrafter state-of-the-art prestaties bereikt in open-wereldvideo diepteschatting onder zero-shot omstandigheden. Bovendien faciliteert DepthCrafter diverse downstream toepassingen, waaronder dieptegebaseerde visuele effecten en conditionele videogeneratie.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.