MoVieS: Sintesi Dinamica di Viste 4D Consapevole del Movimento in un Secondo

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

July 14, 2025

Autori: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu

cs.AI

Abstract

Presentiamo MoVieS, un nuovo modello feed-forward che sintetizza viste dinamiche 4D a partire da video monoculari in un secondo. MoVieS rappresenta scene 3D dinamiche utilizzando griglie allineate ai pixel di primitive gaussiane, supervisionando esplicitamente il loro movimento variabile nel tempo. Ciò consente, per la prima volta, la modellizzazione unificata di aspetto, geometria e movimento, e abilita la sintesi di viste, la ricostruzione e il tracciamento di punti 3D all'interno di un unico framework basato sull'apprendimento. Colmando il divario tra la sintesi di nuove viste e la ricostruzione della geometria dinamica, MoVieS permette un addestramento su larga scala su dataset diversificati con una dipendenza minima dalla supervisione specifica per il compito. Di conseguenza, supporta naturalmente una vasta gamma di applicazioni zero-shot, come la stima del flusso della scena e la segmentazione di oggetti in movimento. Esperimenti estensivi convalidano l'efficacia e l'efficienza di MoVieS su più compiti, raggiungendo prestazioni competitive mentre offre un'accelerazione di diversi ordini di grandezza.

English

We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic novel views from monocular videos in one second. MoVieS represents dynamic 3D scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising their time-varying motion. This allows, for the first time, the unified modeling of appearance, geometry and motion, and enables view synthesis, reconstruction and 3D point tracking within a single learning-based framework. By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS enables large-scale training on diverse datasets with minimal dependence on task-specific supervision. As a result, it also naturally supports a wide range of zero-shot applications, such as scene flow estimation and moving object segmentation. Extensive experiments validate the effectiveness and efficiency of MoVieS across multiple tasks, achieving competitive performance while offering several orders of magnitude speedups.