MoVieS: Bewegungsbewusste 4D-Dynamische Ansichtssynthese in einer Sekunde
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
July 14, 2025
papers.authors: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu
cs.AI
papers.abstract
Wir stellen MoVieS vor, ein neuartiges Feed-Forward-Modell, das 4D-dynamische neue Ansichten aus monokularen Videos in einer Sekunde synthetisiert. MoVieS repräsentiert dynamische 3D-Szenen mithilfe von pixelausgerichteten Gittern aus Gaußschen Primitiven und überwacht explizit deren zeitlich variierende Bewegung. Dies ermöglicht erstmals die einheitliche Modellierung von Erscheinungsbild, Geometrie und Bewegung und erlaubt Ansichtssynthese, Rekonstruktion und 3D-Punktverfolgung innerhalb eines einzigen lernbasierten Frameworks. Durch die Verbindung von neuartiger Ansichtssynthese mit dynamischer Geometrierekonstruktion ermöglicht MoVieS groß angelegtes Training auf diversen Datensätzen mit minimaler Abhängigkeit von aufgabenspezifischer Überwachung. Dadurch unterstützt es auch natürlich eine breite Palette von Zero-Shot-Anwendungen, wie Szenenfluss-Schätzung und bewegte Objektsegmentierung. Umfangreiche Experimente validieren die Effektivität und Effizienz von MoVieS über mehrere Aufgaben hinweg, wobei es wettbewerbsfähige Leistungen erzielt und gleichzeitig eine um mehrere Größenordnungen höhere Geschwindigkeit bietet.
English
We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic
novel views from monocular videos in one second. MoVieS represents dynamic 3D
scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising
their time-varying motion. This allows, for the first time, the unified
modeling of appearance, geometry and motion, and enables view synthesis,
reconstruction and 3D point tracking within a single learning-based framework.
By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS
enables large-scale training on diverse datasets with minimal dependence on
task-specific supervision. As a result, it also naturally supports a wide range
of zero-shot applications, such as scene flow estimation and moving object
segmentation. Extensive experiments validate the effectiveness and efficiency
of MoVieS across multiple tasks, achieving competitive performance while
offering several orders of magnitude speedups.