MoVieS: Síntese Dinâmica de Visão 4D com Consciência de Movimento em Um Segundo
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
July 14, 2025
Autores: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu
cs.AI
Resumo
Apresentamos o MoVieS, um novo modelo feed-forward que sintetiza visões dinâmicas 4D a partir de vídeos monoculares em um segundo. O MoVieS representa cenas 3D dinâmicas utilizando grades alinhadas por pixel de primitivas Gaussianas, supervisionando explicitamente seu movimento variável no tempo. Isso permite, pela primeira vez, a modelagem unificada de aparência, geometria e movimento, e possibilita a síntese de visões, reconstrução e rastreamento de pontos 3D dentro de um único framework baseado em aprendizado. Ao conectar a síntese de novas visões com a reconstrução de geometria dinâmica, o MoVieS permite treinamento em larga escala em diversos conjuntos de dados com dependência mínima de supervisão específica para a tarefa. Como resultado, ele também suporta naturalmente uma ampla gama de aplicações zero-shot, como estimativa de fluxo de cena e segmentação de objetos em movimento. Experimentos extensivos validam a eficácia e eficiência do MoVieS em múltiplas tarefas, alcançando desempenho competitivo enquanto oferece acelerações de várias ordens de magnitude.
English
We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic
novel views from monocular videos in one second. MoVieS represents dynamic 3D
scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising
their time-varying motion. This allows, for the first time, the unified
modeling of appearance, geometry and motion, and enables view synthesis,
reconstruction and 3D point tracking within a single learning-based framework.
By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS
enables large-scale training on diverse datasets with minimal dependence on
task-specific supervision. As a result, it also naturally supports a wide range
of zero-shot applications, such as scene flow estimation and moving object
segmentation. Extensive experiments validate the effectiveness and efficiency
of MoVieS across multiple tasks, achieving competitive performance while
offering several orders of magnitude speedups.