Совместное восстановление трехмерной геометрии и генерация движения для 4D-синтеза по одному изображению
Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image
December 4, 2025
Авторы: Yanran Zhang, Ziyi Wang, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu
cs.AI
Аннотация
Создание интерактивных и динамичных 4D-сцен из одного статического изображения остается ключевой проблемой. Большинство существующих методов "сначала сгенерировать, затем восстановить" и "сначала восстановить, затем сгенерировать" разделяют геометрию и движение, что приводит к пространственно-временным несоответствиям и плохой обобщающей способности. Для решения этих проблем мы расширяем подход "сначала восстановить, затем сгенерировать" для совместного выполнения генерации движения и геометрической реконструкции для синтеза 4D (MoRe4D). Сначала мы представляем TrajScene-60K — масштабный набор данных из 60 000 видеосэмплов с плотными траекториями точек, решающий проблему нехватки высококачественных данных 4D-сцен. На его основе мы предлагаем диффузионный генератор траекторий 4D-сцен (4D-STraG) для совместной генерации геометрически согласованных и правдоподобных по движению 4D-траекторий точек. Для использования априорной информации одновидовых изображений мы разрабатываем стратегию нормализации движения с управлением по глубине и модуль, учитывающий движение, для эффективной интеграции геометрии и динамики. Затем мы предлагаем модуль синтеза 4D-видов (4D-ViSM) для рендеринга видео с произвольными траекториями камеры из представлений 4D-треков точек. Эксперименты показывают, что MoRe4D генерирует высококачественные 4D-сцены с многовидовой согласованностью и богатыми динамическими деталями из одного изображения. Код: https://github.com/Zhangyr2022/MoRe4D.
English
Generating interactive and dynamic 4D scenes from a single static image remains a core challenge. Most existing generate-then-reconstruct and reconstruct-then-generate methods decouple geometry from motion, causing spatiotemporal inconsistencies and poor generalization. To address these, we extend the reconstruct-then-generate framework to jointly perform Motion generation and geometric Reconstruction for 4D Synthesis (MoRe4D). We first introduce TrajScene-60K, a large-scale dataset of 60,000 video samples with dense point trajectories, addressing the scarcity of high-quality 4D scene data. Based on this, we propose a diffusion-based 4D Scene Trajectory Generator (4D-STraG) to jointly generate geometrically consistent and motion-plausible 4D point trajectories. To leverage single-view priors, we design a depth-guided motion normalization strategy and a motion-aware module for effective geometry and dynamics integration. We then propose a 4D View Synthesis Module (4D-ViSM) to render videos with arbitrary camera trajectories from 4D point track representations. Experiments show that MoRe4D generates high-quality 4D scenes with multi-view consistency and rich dynamic details from a single image. Code: https://github.com/Zhangyr2022/MoRe4D.