MoVieS: Síntesis Dinámica de Vistas 4D con Conciencia del Movimiento en un Segundo

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

July 14, 2025

Autores: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu

cs.AI

Resumen

Presentamos MoVieS, un modelo novedoso de propagación directa que sintetiza vistas dinámicas 4D a partir de videos monoculares en un segundo. MoVieS representa escenas 3D dinámicas utilizando mallas alineadas por píxeles de primitivas gaussianas, supervisando explícitamente su movimiento variable en el tiempo. Esto permite, por primera vez, el modelado unificado de apariencia, geometría y movimiento, y habilita la síntesis de vistas, la reconstrucción y el seguimiento de puntos 3D dentro de un único marco basado en aprendizaje. Al conectar la síntesis de vistas novedosas con la reconstrucción de geometría dinámica, MoVieS posibilita el entrenamiento a gran escala en diversos conjuntos de datos con una dependencia mínima de supervisión específica de tareas. Como resultado, también admite de manera natural una amplia gama de aplicaciones de cero disparos, como la estimación de flujo de escena y la segmentación de objetos en movimiento. Experimentos exhaustivos validan la eficacia y eficiencia de MoVieS en múltiples tareas, logrando un rendimiento competitivo mientras ofrece aceleraciones de varios órdenes de magnitud.

English

We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic novel views from monocular videos in one second. MoVieS represents dynamic 3D scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising their time-varying motion. This allows, for the first time, the unified modeling of appearance, geometry and motion, and enables view synthesis, reconstruction and 3D point tracking within a single learning-based framework. By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS enables large-scale training on diverse datasets with minimal dependence on task-specific supervision. As a result, it also naturally supports a wide range of zero-shot applications, such as scene flow estimation and moving object segmentation. Extensive experiments validate the effectiveness and efficiency of MoVieS across multiple tasks, achieving competitive performance while offering several orders of magnitude speedups.