DriveGen3D: Ускорение генерации сцен вождения с прямой связью с помощью эффективной видео-диффузии

DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion

October 17, 2025

Авторы: Weijie Wang, Jiagang Zhu, Zeyu Zhang, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Chaojun Ni, Haoxiao Wang, Guan Huang, Xinze Chen, Yukun Zhou, Wenkang Qin, Duochao Shi, Haoyun Li, Guanghong Jia, Jiwen Lu

cs.AI

Аннотация

Мы представляем DriveGen3D — новый фреймворк для генерации высококачественных и высококонтролируемых динамических 3D-сцен вождения, который устраняет ключевые ограничения существующих методик. Современные подходы к синтезу сцен вождения либо требуют чрезмерных вычислительных ресурсов для генерации на длительных временных интервалах, либо сосредоточены исключительно на создании продолжительных видео без 3D-представления, либо ограничиваются реконструкцией статичных одиночных сцен. Наша работа заполняет этот методологический пробел, объединяя ускоренную генерацию долгосрочных видео с реконструкцией крупномасштабных динамических сцен через мультимодальное условное управление. DriveGen3D представляет собой унифицированный конвейер, состоящий из двух специализированных компонентов: FastDrive-DiT — эффективного видео-диффузионного трансформера для синтеза высококачественных, временно согласованных видео под управлением текста и макета Bird's-Eye-View (BEV); и FastRecon3D — прямого модуля реконструкции, который быстро строит 3D-представления на основе гауссовых распределений во времени, обеспечивая пространственно-временную согласованность. Вместе эти компоненты позволяют в реальном времени генерировать продолжительные видео вождения (до 424×800 при 12 кадрах в секунду) и соответствующие динамические 3D-сцены, достигая SSIM 0,811 и PSNR 22,84 на синтезе новых ракурсов, сохраняя при этом эффективность по параметрам.

English

We present DriveGen3D, a novel framework for generating high-quality and highly controllable dynamic 3D driving scenes that addresses critical limitations in existing methodologies. Current approaches to driving scene synthesis either suffer from prohibitive computational demands for extended temporal generation, focus exclusively on prolonged video synthesis without 3D representation, or restrict themselves to static single-scene reconstruction. Our work bridges this methodological gap by integrating accelerated long-term video generation with large-scale dynamic scene reconstruction through multimodal conditional control. DriveGen3D introduces a unified pipeline consisting of two specialized components: FastDrive-DiT, an efficient video diffusion transformer for high-resolution, temporally coherent video synthesis under text and Bird's-Eye-View (BEV) layout guidance; and FastRecon3D, a feed-forward reconstruction module that rapidly builds 3D Gaussian representations across time, ensuring spatial-temporal consistency. Together, these components enable real-time generation of extended driving videos (up to 424times800 at 12 FPS) and corresponding dynamic 3D scenes, achieving SSIM of 0.811 and PSNR of 22.84 on novel view synthesis, all while maintaining parameter efficiency.