Vivid4D : Amélioration de la reconstruction 4D à partir de vidéos monoculaires par inpainting vidéo

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Auteurs: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Résumé

La reconstruction de scènes dynamiques 4D à partir de vidéos monoculaires capturées de manière informelle est précieuse mais extrêmement difficile, car chaque instant est observé depuis un seul point de vue. Nous présentons Vivid4D, une approche novatrice qui améliore la synthèse de vidéos monoculaires 4D en augmentant les vues d'observation - en synthétisant des vidéos multi-vues à partir d'une entrée monoculaire. Contrairement aux méthodes existantes qui exploitent uniquement des préconceptions géométriques pour la supervision ou utilisent des préconceptions génératives tout en négligeant la géométrie, nous intégrons les deux. Cela reformule l'augmentation des vues comme une tâche de remplissage vidéo, où les vues observées sont projetées dans de nouveaux points de vue en fonction des préconceptions de profondeur monoculaire. Pour y parvenir, nous entraînons un modèle de remplissage vidéo sur des vidéos web non positionnées avec des masques générés de manière synthétique qui imitent les occlusions de projection, assurant une complétion spatialement et temporellement cohérente des régions manquantes. Pour atténuer davantage les inexactitudes dans les préconceptions de profondeur monoculaire, nous introduisons une stratégie d'augmentation de vue itérative et une fonction de reconstruction robuste. Les expériences démontrent que notre méthode améliore efficacement la reconstruction et la complétion de scènes monoculaires 4D.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.