Reconstrução Conjunta de Geometria 3D e Geração de Movimento para Síntese 4D a Partir de uma Única Imagem
Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image
December 4, 2025
Autores: Yanran Zhang, Ziyi Wang, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu
cs.AI
Resumo
A geração de cenas 4D interativas e dinâmicas a partir de uma única imagem estática continua a ser um desafio central. A maioria dos métodos existentes de "gerar-depois-reconstruir" e "reconstruir-depois-gerar" desacoplam a geometria do movimento, causando inconsistências espaço-temporais e má generalização. Para resolver estes problemas, estendemos a estrutura "reconstruir-depois-gerar" para realizar conjuntamente a Geração de Movimento e a Reconstrução Geométrica para Síntese 4D (MoRe4D). Primeiro, introduzimos o TrajScene-60K, um conjunto de dados em larga escala com 60.000 amostras de vídeo contendo trajetórias densas de pontos, abordando a escassez de dados de cenas 4D de alta qualidade. Com base nisto, propomos um Gerador de Trajetórias de Cenas 4D baseado em difusão (4D-STraG) para gerar conjuntamente trajetórias de pontos 4D geometricamente consistentes e com movimento plausível. Para aproveitar os *priors* de visão única, projetamos uma estratégia de normalização de movimento guiada por profundidade e um módulo sensível ao movimento para uma integração eficaz de geometria e dinâmica. Em seguida, propomos um Módulo de Síntese de Vista 4D (4D-ViSM) para renderizar vídeos com trajetórias de câmera arbitrárias a partir de representações de trajetórias de pontos 4D. Os experimentos mostram que o MoRe4D gera cenas 4D de alta qualidade com consistência multi-vista e ricos detalhes dinâmicos a partir de uma única imagem. Código: https://github.com/Zhangyr2022/MoRe4D.
English
Generating interactive and dynamic 4D scenes from a single static image remains a core challenge. Most existing generate-then-reconstruct and reconstruct-then-generate methods decouple geometry from motion, causing spatiotemporal inconsistencies and poor generalization. To address these, we extend the reconstruct-then-generate framework to jointly perform Motion generation and geometric Reconstruction for 4D Synthesis (MoRe4D). We first introduce TrajScene-60K, a large-scale dataset of 60,000 video samples with dense point trajectories, addressing the scarcity of high-quality 4D scene data. Based on this, we propose a diffusion-based 4D Scene Trajectory Generator (4D-STraG) to jointly generate geometrically consistent and motion-plausible 4D point trajectories. To leverage single-view priors, we design a depth-guided motion normalization strategy and a motion-aware module for effective geometry and dynamics integration. We then propose a 4D View Synthesis Module (4D-ViSM) to render videos with arbitrary camera trajectories from 4D point track representations. Experiments show that MoRe4D generates high-quality 4D scenes with multi-view consistency and rich dynamic details from a single image. Code: https://github.com/Zhangyr2022/MoRe4D.