Vivid4D: Verbesserung der 4D-Rekonstruktion aus monokularen Videos durch Video-Inpainting

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Autoren: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Zusammenfassung

Die Rekonstruktion von 4D-dynamischen Szenen aus zufällig aufgenommenen monokularen Videos ist wertvoll, aber äußerst anspruchsvoll, da jeder Zeitpunkt aus einem einzigen Blickwinkel beobachtet wird. Wir stellen Vivid4D vor, einen neuartigen Ansatz, der die Synthese von 4D-monokularen Videos verbessert, indem er die Beobachtungsansichten erweitert – also Multi-View-Videos aus einer monokularen Eingabe synthetisiert. Im Gegensatz zu bestehenden Methoden, die entweder ausschließlich geometrische Prioritäten zur Überwachung nutzen oder generative Prioritäten verwenden, während sie die Geometrie vernachlässigen, integrieren wir beides. Dies formuliert die Ansichtserweiterung als eine Video-Inpainting-Aufgabe um, bei der beobachtete Ansichten basierend auf monokularen Tiefenprioritäten in neue Blickwinkel verzerrt werden. Um dies zu erreichen, trainieren wir ein Video-Inpainting-Modell auf unpositionierten Webvideos mit synthetisch generierten Masken, die Verzerrungsokklusionen nachahmen, um eine räumlich und zeitlich konsistente Vervollständigung fehlender Regionen zu gewährleisten. Um weitere Ungenauigkeiten in den monokularen Tiefenprioritäten zu mindern, führen wir eine iterative Ansichtserweiterungsstrategie und einen robusten Rekonstruktionsverlust ein. Experimente zeigen, dass unsere Methode die monokulare 4D-Szenenrekonstruktion und -vervollständigung effektiv verbessert.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.