DimensionX: Erstellen beliebiger 3D- und 4D-Szenen aus einem einzelnen Bild mit kontrollierbarer Video-Diffusion

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

papers.authors: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

papers.abstract

In diesem Artikel stellen wir DimensionX vor, ein Framework, das darauf ausgelegt ist, fotorealistische 3D- und 4D-Szenen aus nur einem einzigen Bild mithilfe von Video-Diffusion zu generieren. Unser Ansatz beginnt mit der Erkenntnis, dass sowohl die räumliche Struktur einer 3D-Szene als auch die zeitliche Entwicklung einer 4D-Szene effektiv durch Sequenzen von Videobildern dargestellt werden können. Obwohl aktuelle Video-Diffusionsmodelle bemerkenswerte Erfolge bei der Erzeugung lebendiger visueller Inhalte gezeigt haben, stoßen sie an Grenzen, wenn es darum geht, 3D/4D-Szenen direkt zu rekonstruieren, da die räumliche und zeitliche Steuerbarkeit während der Generierung begrenzt ist. Um dies zu überwinden, schlagen wir ST-Director vor, das räumliche und zeitliche Faktoren in der Video-Diffusion entkoppelt, indem es dimensionsbewusste LoRAs aus dimensionsvarianten Daten lernt. Dieser kontrollierbare Video-Diffusionsansatz ermöglicht eine präzise Manipulation der räumlichen Struktur und der zeitlichen Dynamik, wodurch wir sowohl 3D- als auch 4D-Darstellungen aus sequenziellen Bildern durch die Kombination von räumlichen und zeitlichen Dimensionen rekonstruieren können. Zusätzlich führen wir, um die Lücke zwischen generierten Videos und realen Szenen zu schließen, einen trajektorienbewussten Mechanismus für die 3D-Generierung und eine identitätserhaltende Rauschunterdrückungsstrategie für die 4D-Generierung ein. Umfangreiche Experimente mit verschiedenen realen und synthetischen Datensätzen zeigen, dass DimensionX im Vergleich zu früheren Methoden überlegene Ergebnisse in der kontrollierbaren Videogenerierung sowie in der 3D- und 4D-Szenengenerierung erzielt.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.