Enkelbeeldgebaseerde 4D-synthese: Gezamenlijke 3D-geometriereconstructie en bewegingsgeneratie
Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image
December 4, 2025
Auteurs: Yanran Zhang, Ziyi Wang, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu
cs.AI
Samenvatting
Het genereren van interactieve en dynamische 4D-scènes uit één statische afbeelding blijft een grote uitdaging. De meeste bestaande methoden, zoals 'genereren-dan-reconstrueren' en 'reconstrueren-dan-genereren', ontkoppelen geometrie van beweging, wat leidt tot spatiotemporele inconsistenties en beperkte generalisatie. Om deze problemen aan te pakken, breiden we het 'reconstrueren-dan-genereren' raamwerk uit om gezamenlijk Bewegingsgeneratie en geometrische Reconstructie voor 4D Synthese (MoRe4D) uit te voeren. We introduceren eerst TrajScene-60K, een grootschalige dataset met 60.000 videofragmenten met dichte punt-trajectoriën, om het gebrek aan hoogwaardige 4D-scènedata aan te pakken. Op basis hiervan stellen we een op diffusie gebaseerde 4D Scène Traject Generator (4D-STraG) voor om gezamenlijk geometrisch consistente en bewegingsgeloofwaardige 4D punt-trajectoriën te genereren. Om single-view priors te benutten, ontwerpen we een diepte-gestuurde beweging-normalisatiestrategie en een beweging-bewuste module voor effectieve integratie van geometrie en dynamiek. Vervolgens stellen we een 4D View Synthesis Module (4D-ViSM) voor om video's te renderen met willekeurige camerabewegingen vanuit 4D punt-track representaties. Experimenten tonen aan dat MoRe4D hoogwaardige 4D-scènes genereert met multi-view consistentie en rijke dynamische details vanuit één afbeelding. Code: https://github.com/Zhangyr2022/MoRe4D.
English
Generating interactive and dynamic 4D scenes from a single static image remains a core challenge. Most existing generate-then-reconstruct and reconstruct-then-generate methods decouple geometry from motion, causing spatiotemporal inconsistencies and poor generalization. To address these, we extend the reconstruct-then-generate framework to jointly perform Motion generation and geometric Reconstruction for 4D Synthesis (MoRe4D). We first introduce TrajScene-60K, a large-scale dataset of 60,000 video samples with dense point trajectories, addressing the scarcity of high-quality 4D scene data. Based on this, we propose a diffusion-based 4D Scene Trajectory Generator (4D-STraG) to jointly generate geometrically consistent and motion-plausible 4D point trajectories. To leverage single-view priors, we design a depth-guided motion normalization strategy and a motion-aware module for effective geometry and dynamics integration. We then propose a 4D View Synthesis Module (4D-ViSM) to render videos with arbitrary camera trajectories from 4D point track representations. Experiments show that MoRe4D generates high-quality 4D scenes with multi-view consistency and rich dynamic details from a single image. Code: https://github.com/Zhangyr2022/MoRe4D.