MoVieS: Синтез 4D динамических видов с учетом движения за одну секунду
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
July 14, 2025
Авторы: Chenguo Lin, Yuchen Lin, Panwang Pan, Yifan Yu, Honglei Yan, Katerina Fragkiadaki, Yadong Mu
cs.AI
Аннотация
Мы представляем MoVieS — новую модель прямого распространения, которая синтезирует 4D динамические новые виды из монохромных видео за одну секунду. MoVieS представляет динамические 3D сцены с использованием пиксельно-выровненных сеток гауссовых примитивов, явно контролируя их изменяющееся во времени движение. Это впервые позволяет объединить моделирование внешнего вида, геометрии и движения, а также обеспечивает синтез видов, реконструкцию и отслеживание 3D точек в рамках единой обучаемой системы. Соединяя синтез новых видов с реконструкцией динамической геометрии, MoVieS позволяет проводить масштабное обучение на разнообразных наборах данных с минимальной зависимостью от специфического для задачи контроля. В результате модель также естественным образом поддерживает широкий спектр задач с нулевым обучением, таких как оценка потока сцены и сегментация движущихся объектов. Многочисленные эксперименты подтверждают эффективность и производительность MoVieS в решении различных задач, демонстрируя конкурентоспособные результаты при значительном ускорении обработки.
English
We present MoVieS, a novel feed-forward model that synthesizes 4D dynamic
novel views from monocular videos in one second. MoVieS represents dynamic 3D
scenes using pixel-aligned grids of Gaussian primitives, explicitly supervising
their time-varying motion. This allows, for the first time, the unified
modeling of appearance, geometry and motion, and enables view synthesis,
reconstruction and 3D point tracking within a single learning-based framework.
By bridging novel view synthesis with dynamic geometry reconstruction, MoVieS
enables large-scale training on diverse datasets with minimal dependence on
task-specific supervision. As a result, it also naturally supports a wide range
of zero-shot applications, such as scene flow estimation and moving object
segmentation. Extensive experiments validate the effectiveness and efficiency
of MoVieS across multiple tasks, achieving competitive performance while
offering several orders of magnitude speedups.