DepthCrafter: Generazione di Sequenze Lunghe e Coerenti di Profondità per Video Open-world
DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos
September 3, 2024
Autori: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan
cs.AI
Abstract
Nonostante i significativi progressi nell'estimazione della profondità monoculare per immagini statiche, l'estimazione della profondità video nel mondo aperto rimane una sfida, poiché i video del mondo aperto sono estremamente diversi per contenuto, movimento, movimento della telecamera e durata. Presentiamo DepthCrafter, un metodo innovativo per generare sequenze di profondità lunghe temporalmente coerenti con dettagli intricati per video del mondo aperto, senza richiedere alcuna informazione supplementare come pose della telecamera o flusso ottico. DepthCrafter raggiunge la capacità di generalizzazione ai video del mondo aperto addestrando un modello video-profondità da un modello di diffusione immagine-video preaddestrato, attraverso la nostra strategia di addestramento a tre fasi attentamente progettata con i dataset video-profondità accoppiati compilati. Il nostro approccio di addestramento consente al modello di generare sequenze di profondità con lunghezze variabili contemporaneamente, fino a 110 frame, e di raccogliere dettagli di profondità precisi e una ricca diversità di contenuti da dataset realistici e sintetici. Proponiamo inoltre una strategia di inferenza che elabora video estremamente lunghi attraverso stime per segmenti e cuciture senza soluzione di continuità. Valutazioni esaustive su più dataset rivelano che DepthCrafter raggiunge prestazioni all'avanguardia nell'estimazione della profondità video nel mondo aperto in impostazioni di zero-shot. Inoltre, DepthCrafter facilita varie applicazioni successive, inclusi effetti visivi basati sulla profondità e generazione di video condizionale.
English
Despite significant advancements in monocular depth estimation for static
images, estimating video depth in the open world remains challenging, since
open-world videos are extremely diverse in content, motion, camera movement,
and length. We present DepthCrafter, an innovative method for generating
temporally consistent long depth sequences with intricate details for
open-world videos, without requiring any supplementary information such as
camera poses or optical flow. DepthCrafter achieves generalization ability to
open-world videos by training a video-to-depth model from a pre-trained
image-to-video diffusion model, through our meticulously designed three-stage
training strategy with the compiled paired video-depth datasets. Our training
approach enables the model to generate depth sequences with variable lengths at
one time, up to 110 frames, and harvest both precise depth details and rich
content diversity from realistic and synthetic datasets. We also propose an
inference strategy that processes extremely long videos through segment-wise
estimation and seamless stitching. Comprehensive evaluations on multiple
datasets reveal that DepthCrafter achieves state-of-the-art performance in
open-world video depth estimation under zero-shot settings. Furthermore,
DepthCrafter facilitates various downstream applications, including depth-based
visual effects and conditional video generation.