DimensionX: Creëer Elke 3D- en 4D-Scène uit een Enkele Afbeelding met Beheerbare Videodiffusie

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

Auteurs: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

Samenvatting

In dit artikel introduceren we DimensionX, een raamwerk ontworpen om fotorealistische 3D- en 4D-scènes te genereren vanuit slechts één afbeelding met behulp van videodiffusie. Onze aanpak begint met het inzicht dat zowel de ruimtelijke structuur van een 3D-scène als de temporele evolutie van een 4D-scène effectief kunnen worden gerepresenteerd door sequenties van videoframes. Hoewel recente videodiffusiemodellen opmerkelijke successen hebben geboekt in het produceren van levendige beelden, kampen ze met beperkingen bij het direct reconstrueren van 3D/4D-scènes door beperkte ruimtelijke en temporele bestuurbaarheid tijdens de generatie. Om dit te overwinnen, stellen we ST-Director voor, dat ruimtelijke en temporele facturen in videodiffusie ontkoppelt door dimensiebewuste LoRA's te leren uit dimensie-variante data. Deze bestuurbare videodiffusiebenadering maakt precieze manipulatie van ruimtelijke structuur en temporele dynamiek mogelijk, waardoor we zowel 3D- als 4D-representaties kunnen reconstrueren uit sequentiële frames met een combinatie van ruimtelijke en temporele dimensies. Daarnaast introduceren we, om de kloof tussen gegenereerde video's en real-world scènes te overbruggen, een trajectbewust mechanisme voor 3D-generatie en een identiteitbewarende denoisestrategie voor 4D-generatie. Uitgebreide experimenten op diverse real-world en synthetische datasets tonen aan dat DimensionX superieure resultaten behaalt in bestuurbare videogeneratie, evenals in 3D- en 4D-scènegeneratie, in vergelijking met eerdere methoden.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.