Vivid4D: Verbetering van 4D-reconstructie uit monovideo's door video-inpainting

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

Auteurs: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

Samenvatting

Het reconstrueren van 4D dynamische scènes uit toevallig vastgelegde monoscopische video's is waardevol maar zeer uitdagend, omdat elk tijdstip vanuit een enkel gezichtspunt wordt waargenomen. Wij introduceren Vivid4D, een nieuwe aanpak die de synthese van 4D monoscopische video's verbetert door waarnemingsgezichten uit te breiden - het synthetiseren van multiview-video's vanuit een monoscopische invoer. In tegenstelling tot bestaande methoden die uitsluitend gebruikmaken van geometrische voorkennis voor supervisie of generatieve voorkennis gebruiken terwijl ze geometrie negeren, integreren wij beide. Dit herformuleert gezichtsuitbreiding als een video-inpaintings taak, waarbij waargenomen gezichten worden vervormd naar nieuwe gezichtspunten op basis van monoscopische dieptekennis. Om dit te bereiken, trainen we een video-inpaintingsmodel op ongeposeerde webvideo's met synthetisch gegenereerde maskers die vervormingsocclusies nabootsen, waardoor een ruimtelijk en temporeel consistent invullen van ontbrekende gebieden wordt gegarandeerd. Om verdere onnauwkeurigheden in monoscopische dieptekennis te verminderen, introduceren we een iteratieve gezichtsuitbreidingsstrategie en een robuust reconstructieverlies. Experimenten tonen aan dat onze methode de monoscopische 4D-scènereconstructie en -completering effectief verbetert.

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.