DepthCrafter: Gerando Sequências Longas e Coerentes de Profundidade para Vídeos de Mundo Aberto

DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos

September 3, 2024

Autores: Wenbo Hu, Xiangjun Gao, Xiaoyu Li, Sijie Zhao, Xiaodong Cun, Yong Zhang, Long Quan, Ying Shan

cs.AI

Resumo

Apesar dos avanços significativos na estimativa de profundidade monocular para imagens estáticas, estimar a profundidade de vídeos no mundo aberto continua sendo um desafio, uma vez que os vídeos do mundo aberto são extremamente diversos em conteúdo, movimento, movimento da câmera e duração. Apresentamos o DepthCrafter, um método inovador para gerar sequências de profundidade longas temporalmente consistentes com detalhes intricados para vídeos do mundo aberto, sem a necessidade de informações suplementares como poses de câmera ou fluxo óptico. O DepthCrafter alcança a capacidade de generalização para vídeos do mundo aberto ao treinar um modelo de vídeo para profundidade a partir de um modelo de difusão de imagem para vídeo pré-treinado, por meio de nossa estratégia de treinamento em três estágios meticulosamente projetada com os conjuntos de dados de vídeo-profundidade compilados. Nossa abordagem de treinamento permite que o modelo gere sequências de profundidade com comprimentos variáveis de uma só vez, de até 110 quadros, e capture tanto detalhes precisos de profundidade quanto diversidade de conteúdo rico de conjuntos de dados realistas e sintéticos. Também propomos uma estratégia de inferência que processa vídeos extremamente longos por meio de estimativa por segmentos e costura contínua. Avaliações abrangentes em múltiplos conjuntos de dados revelam que o DepthCrafter alcança desempenho de ponta na estimativa de profundidade de vídeo do mundo aberto em configurações de zero-shot. Além disso, o DepthCrafter facilita várias aplicações downstream, incluindo efeitos visuais baseados em profundidade e geração condicional de vídeo.

English

Despite significant advancements in monocular depth estimation for static images, estimating video depth in the open world remains challenging, since open-world videos are extremely diverse in content, motion, camera movement, and length. We present DepthCrafter, an innovative method for generating temporally consistent long depth sequences with intricate details for open-world videos, without requiring any supplementary information such as camera poses or optical flow. DepthCrafter achieves generalization ability to open-world videos by training a video-to-depth model from a pre-trained image-to-video diffusion model, through our meticulously designed three-stage training strategy with the compiled paired video-depth datasets. Our training approach enables the model to generate depth sequences with variable lengths at one time, up to 110 frames, and harvest both precise depth details and rich content diversity from realistic and synthetic datasets. We also propose an inference strategy that processes extremely long videos through segment-wise estimation and seamless stitching. Comprehensive evaluations on multiple datasets reveal that DepthCrafter achieves state-of-the-art performance in open-world video depth estimation under zero-shot settings. Furthermore, DepthCrafter facilitates various downstream applications, including depth-based visual effects and conditional video generation.