DimensionX: Crear cualquier escena 3D y 4D a partir de una sola imagen con difusión de video controlable

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

Autores: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

Resumen

En este artículo presentamos DimensionX, un marco diseñado para generar escenas 3D y 4D fotorrealistas a partir de una sola imagen mediante difusión de video. Nuestro enfoque parte de la idea de que tanto la estructura espacial de una escena 3D como la evolución temporal de una escena 4D pueden representarse eficazmente mediante secuencias de fotogramas de video. Si bien los modelos recientes de difusión de video han demostrado un éxito notable en la producción de imágenes vívidas, presentan limitaciones para reconstruir directamente escenas 3D/4D debido a una controlabilidad espacial y temporal limitada durante la generación. Para superar esto, proponemos ST-Director, que desacopla los factores espaciales y temporales en la difusión de video mediante el aprendizaje de LoRAs conscientes de la dimensión a partir de datos variantes en dimensión. Este enfoque de difusión de video controlable permite una manipulación precisa de la estructura espacial y la dinámica temporal, lo que nos permite reconstruir representaciones tanto 3D como 4D a partir de fotogramas secuenciales con la combinación de dimensiones espaciales y temporales. Adicionalmente, para salvar la brecha entre los videos generados y las escenas del mundo real, introducimos un mecanismo consciente de la trayectoria para la generación 3D y una estrategia de eliminación de ruido que preserva la identidad para la generación 4D. Experimentos exhaustivos en varios conjuntos de datos del mundo real y sintéticos demuestran que DimensionX logra resultados superiores en generación de video controlable, así como en generación de escenas 3D y 4D, en comparación con métodos anteriores.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.