Reconstruction conjointe de la géométrie 3D et génération de mouvement pour la synthèse 4D à partir d'une seule image
Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image
December 4, 2025
papers.authors: Yanran Zhang, Ziyi Wang, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu
cs.AI
papers.abstract
La génération de scènes 4D interactives et dynamiques à partir d'une seule image statique reste un défi fondamental. La plupart des méthodes existantes de type « générer puis reconstruire » ou « reconstruire puis générer » dissocient la géométrie du mouvement, entraînant des incohérences spatio-temporelles et une faible généralisation. Pour y remédier, nous étendons le cadre « reconstruire puis générer » pour effectuer conjointement la génération du mouvement et la reconstruction géométrique pour la synthèse 4D (MoRe4D). Nous introduisons d'abord TrajScene-60K, un jeu de données à grande échelle de 60 000 échantillons vidéo avec des trajectoires de points denses, répondant à la pénurie de données scéniques 4D de haute qualité. Sur cette base, nous proposons un Générateur de Trajectoires de Scènes 4D (4D-STraG) basé sur la diffusion pour générer conjointement des trajectoires de points 4D géométriquement cohérentes et motionnellement plausibles. Pour exploiter les préalables de vue unique, nous concevons une stratégie de normalisation du mouvement guidée par la profondeur et un module sensible au mouvement pour une intégration efficace de la géométrie et de la dynamique. Nous proposons ensuite un Module de Synthèse de Vues 4D (4D-ViSM) pour restituer des vidéos avec des trajectoires de caméra arbitraires à partir des représentations par pistes de points 4D. Les expériences montrent que MoRe4D génère des scènes 4D de haute qualité avec une cohérence multi-vues et des détails dynamiques riches à partir d'une seule image. Code : https://github.com/Zhangyr2022/MoRe4D.
English
Generating interactive and dynamic 4D scenes from a single static image remains a core challenge. Most existing generate-then-reconstruct and reconstruct-then-generate methods decouple geometry from motion, causing spatiotemporal inconsistencies and poor generalization. To address these, we extend the reconstruct-then-generate framework to jointly perform Motion generation and geometric Reconstruction for 4D Synthesis (MoRe4D). We first introduce TrajScene-60K, a large-scale dataset of 60,000 video samples with dense point trajectories, addressing the scarcity of high-quality 4D scene data. Based on this, we propose a diffusion-based 4D Scene Trajectory Generator (4D-STraG) to jointly generate geometrically consistent and motion-plausible 4D point trajectories. To leverage single-view priors, we design a depth-guided motion normalization strategy and a motion-aware module for effective geometry and dynamics integration. We then propose a 4D View Synthesis Module (4D-ViSM) to render videos with arbitrary camera trajectories from 4D point track representations. Experiments show that MoRe4D generates high-quality 4D scenes with multi-view consistency and rich dynamic details from a single image. Code: https://github.com/Zhangyr2022/MoRe4D.