Vivid4D: Aprimorando a Reconstrução 4D a partir de Vídeo Monocular por meio de Inpaint de Vídeo

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Autores: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Resumo

Reconstruir cenas dinâmicas 4D a partir de vídeos monoculares capturados casualmente é valioso, mas altamente desafiador, pois cada instante de tempo é observado a partir de um único ponto de vista. Apresentamos o Vivid4D, uma abordagem inovadora que aprimora a síntese de vídeos monoculares 4D ao aumentar as vistas de observação - sintetizando vídeos multivista a partir de uma entrada monocular. Diferente dos métodos existentes que utilizam apenas priors geométricos para supervisão ou empregam priors generativos enquanto negligenciam a geometria, nós integramos ambos. Isso reformula o aumento de vistas como uma tarefa de inpainting de vídeo, onde as vistas observadas são deformadas em novos pontos de vista com base em priors de profundidade monocular. Para alcançar isso, treinamos um modelo de inpainting de vídeo em vídeos da web sem pose, com máscaras geradas sinteticamente que imitam oclusões de deformação, garantindo a conclusão espacial e temporalmente consistente de regiões ausentes. Para mitigar ainda mais as imprecisões nos priors de profundidade monocular, introduzimos uma estratégia iterativa de aumento de vistas e uma função de reconstrução robusta. Experimentos demonstram que nosso método melhora efetivamente a reconstrução e conclusão de cenas monoculares 4D.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.