DimensionX: Creare Scene 3D e 4D da una Singola Immagine con Diffusione Video Controllabile

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

Autori: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

Abstract

In questo articolo presentiamo DimensionX, un framework progettato per generare scene 3D e 4D fotorealistiche a partire da una singola immagine mediante video diffusion. Il nostro approccio parte dall'intuizione che sia la struttura spaziale di una scena 3D che l'evoluzione temporale di una scena 4D possano essere efficacemente rappresentate attraverso sequenze di fotogrammi video. Sebbene i recenti modelli di video diffusion abbiano dimostrato notevoli successi nella produzione di visualizzazioni vivide, presentano limitazioni nel recupero diretto di scene 3D/4D a causa di una controllabilità spaziale e temporale limitata durante la generazione. Per superare questo problema, proponiamo ST-Director, che disaccoppia i fattori spaziali e temporali nel video diffusion apprendendo LoRA (Low-Rank Adaptation) consapevoli della dimensionalità da dati dimensionalmente varianti. Questo approccio controllabile di video diffusion consente una manipolazione precisa della struttura spaziale e della dinamica temporale, permettendoci di ricostruire sia rappresentazioni 3D che 4D a partire da fotogrammi sequenziali con la combinazione di dimensioni spaziali e temporali. Inoltre, per colmare il divario tra video generati e scene del mondo reale, introduciamo un meccanismo trajectory-aware per la generazione 3D e una strategia di denoising identity-preserving per la generazione 4D. Esperimenti estesi su vari dataset reali e sintetici dimostrano che DimensionX raggiunge risultati superiori nella generazione controllabile di video, nonché nella generazione di scene 3D e 4D, rispetto ai metodi precedenti.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.