DimensionX: Создание любых 3D и 4D сцен из одного изображения с помощью управляемой видео-диффузии

DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

November 7, 2024

Авторы: Wenqiang Sun, Shuo Chen, Fangfu Liu, Zilong Chen, Yueqi Duan, Jun Zhang, Yikai Wang

cs.AI

Аннотация

В данной статье мы представляем фреймворк DimensionX, предназначенный для генерации фотореалистичных 3D и 4D сцен всего из одного изображения с использованием видео-диффузии. Наш подход основывается на идее, что как пространственная структура 3D сцены, так и временна́я эволюция 4D сцены могут быть эффективно представлены через последовательности видео-кадров. Хотя современные модели видео-диффузии демонстрируют впечатляющие успехи в создании ярких визуальных эффектов, они сталкиваются с ограничениями при непосредственном восстановлении 3D/4D сцен из-за недостаточной пространственной и временно́й управляемости в процессе генерации. Для преодоления этого мы предлагаем ST-Director, который разделяет пространственные и временны́е факторы в видео-диффузии путем обучения размерностно-озадачных LoRA (Low-Rank Adaptation) на данных с варьирующейся размерностью. Этот управляемый подход к видео-диффузии позволяет точно манипулировать пространственной структурой и временно́й динамикой, что дает возможность реконструировать как 3D, так и 4D представления из последовательных кадров путем комбинации пространственных и временны́х измерений. Дополнительно, для преодоления разрыва между сгенерированными видео и реальными сценами, мы вводим траекторно-озадачный механизм для 3D генерации и стратегию шумоподавления с сохранением идентичности для 4D генерации. Многочисленные эксперименты на различных реальных и синтетических наборах данных демонстрируют, что DimensionX достигает превосходных результатов в управляемой генерации видео, а также в генерации 3D и 4D сцен по сравнению с предыдущими методами.

English

In this paper, we introduce DimensionX, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.