DimensionX: Crie Qualquer Cena 3D e 4D a Partir de uma Única Imagem com Difusão de Vídeo Controlável

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

Autores: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

Resumo

Neste artigo, apresentamos o DimensionX, uma estrutura projetada para gerar cenas 3D e 4D fotorrealistas a partir de uma única imagem com difusão de vídeo. Nossa abordagem começa com a percepção de que tanto a estrutura espacial de uma cena 3D quanto a evolução temporal de uma cena 4D podem ser efetivamente representadas por meio de sequências de quadros de vídeo. Embora os modelos recentes de difusão de vídeo tenham demonstrado sucesso notável na produção de visuais vívidos, eles enfrentam limitações na recuperação direta de cenas 3D/4D devido à controlabilidade espacial e temporal limitada durante a geração. Para superar isso, propomos o ST-Director, que desacopla fatores espaciais e temporais na difusão de vídeo aprendendo LoRAs conscientes da dimensão a partir de dados variantes de dimensão. Esta abordagem de difusão de vídeo controlável permite a manipulação precisa da estrutura espacial e da dinâmica temporal, permitindo-nos reconstruir representações 3D e 4D a partir de quadros sequenciais com a combinação de dimensões espaciais e temporais. Além disso, para preencher a lacuna entre vídeos gerados e cenas do mundo real, introduzimos um mecanismo consciente da trajetória para geração 3D e uma estratégia de eliminação de ruído com preservação de identidade para geração 4D. Experimentos extensos em vários conjuntos de dados do mundo real e sintéticos demonstram que o DimensionX alcança resultados superiores em geração de vídeo controlável, bem como em geração de cenas 3D e 4D, em comparação com métodos anteriores.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.