MoVieS : Synthèse dynamique de vues 4D en une seconde avec prise en compte du mouvement

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

July 14, 2025

papers.authors: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu

cs.AI

papers.abstract

Nous présentons MoVieS, un nouveau modèle feed-forward qui synthétise des vues dynamiques 4D à partir de vidéos monoculaires en une seconde. MoVieS représente des scènes 3D dynamiques en utilisant des grilles alignées sur les pixels de primitives gaussiennes, supervisant explicitement leur mouvement variant dans le temps. Cela permet, pour la première fois, la modélisation unifiée de l'apparence, de la géométrie et du mouvement, et rend possible la synthèse de vues, la reconstruction et le suivi de points 3D dans un cadre d'apprentissage unique. En reliant la synthèse de nouvelles vues à la reconstruction de géométrie dynamique, MoVieS permet un entraînement à grande échelle sur des ensembles de données variés avec une dépendance minimale à la supervision spécifique à la tâche. Par conséquent, il supporte naturellement une large gamme d'applications en zero-shot, telles que l'estimation de flux de scène et la segmentation d'objets en mouvement. Des expériences approfondies valident l'efficacité et l'efficience de MoVieS sur plusieurs tâches, atteignant des performances compétitives tout en offrant des accélérations de plusieurs ordres de grandeur.

English

We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic novel views from monocular videos in one second. MoVieS represents dynamic 3D scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising their time-varying motion. This allows, for the first time, the unified modeling of appearance, geometry and motion, and enables view synthesis, reconstruction and 3D point tracking within a single learning-based framework. By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS enables large-scale training on diverse datasets with minimal dependence on task-specific supervision. As a result, it also naturally supports a wide range of zero-shot applications, such as scene flow estimation and moving object segmentation. Extensive experiments validate the effectiveness and efficiency of MoVieS across multiple tasks, achieving competitive performance while offering several orders of magnitude speedups.