MoVieS: Bewegingsbewuste 4D Dynamische Weergavesynthese in één Seconde

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

July 14, 2025

Auteurs: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu

cs.AI

Samenvatting

We presenteren MoVieS, een nieuw feed-forward model dat in één seconde 4D dynamische nieuwe aanzichten synthetiseert uit monovideo's. MoVieS representeert dynamische 3D-scènes met behulp van pixel-uitgelijnde roosters van Gaussische primitieven, waarbij hun tijdvariërende beweging expliciet wordt gesuperviseerd. Dit maakt voor het eerst de geïntegreerde modellering van uiterlijk, geometrie en beweging mogelijk, en biedt de mogelijkheid tot aanzichtsynthese, reconstructie en 3D-puntvolging binnen een enkel op leren gebaseerd raamwerk. Door het synthetiseren van nieuwe aanzichten te combineren met dynamische geometriereconstructie, maakt MoVieS grootschalige training op diverse datasets mogelijk met minimale afhankelijkheid van taakspecifieke supervisie. Hierdoor ondersteunt het ook van nature een breed scala aan zero-shot toepassingen, zoals schatting van scèneflow en segmentatie van bewegende objecten. Uitgebreide experimenten valideren de effectiviteit en efficiëntie van MoVieS over meerdere taken, waarbij het competitieve prestaties behaalt en tegelijkertijd een versnelling van meerdere ordes van grootte biedt.

English

We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic novel views from monocular videos in one second. MoVieS represents dynamic 3D scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising their time-varying motion. This allows, for the first time, the unified modeling of appearance, geometry and motion, and enables view synthesis, reconstruction and 3D point tracking within a single learning-based framework. By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS enables large-scale training on diverse datasets with minimal dependence on task-specific supervision. As a result, it also naturally supports a wide range of zero-shot applications, such as scene flow estimation and moving object segmentation. Extensive experiments validate the effectiveness and efficiency of MoVieS across multiple tasks, achieving competitive performance while offering several orders of magnitude speedups.