DriveGen3D: Impulsionando a Geração de Cenas de Condução Feed-Forward com Difusão Eficiente de Vídeo

DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion

October 17, 2025

Autores: Weijie Wang, Jiagang Zhu, Zeyu Zhang, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Chaojun Ni, Haoxiao Wang, Guan Huang, Xinze Chen, Yukun Zhou, Wenkang Qin, Duochao Shi, Haoyun Li, Guanghong Jia, Jiwen Lu

cs.AI

Resumo

Apresentamos o DriveGen3D, uma nova estrutura para geração de cenas dinâmicas 3D de alta qualidade e altamente controláveis que aborda limitações críticas nas metodologias existentes. As abordagens atuais para síntese de cenas de direção sofrem com demandas computacionais proibitivas para geração temporal prolongada, focam exclusivamente na síntese de vídeos prolongados sem representação 3D ou se restringem à reconstrução estática de cena única. Nosso trabalho preenche essa lacuna metodológica ao integrar a geração acelerada de vídeos de longo prazo com a reconstrução de cenas dinâmicas em grande escala por meio de controle condicional multimodal. O DriveGen3D introduz um pipeline unificado composto por dois componentes especializados: o FastDrive-DiT, um transformador de difusão de vídeo eficiente para síntese de vídeo de alta resolução e coerência temporal sob orientação de texto e layout Bird's-Eye-View (BEV); e o FastRecon3D, um módulo de reconstrução feed-forward que constrói rapidamente representações 3D Gaussianas ao longo do tempo, garantindo consistência espaço-temporal. Juntos, esses componentes permitem a geração em tempo real de vídeos de direção prolongados (até 424x800 a 12 FPS) e cenas 3D dinâmicas correspondentes, alcançando SSIM de 0,811 e PSNR de 22,84 na síntese de novas visões, tudo isso mantendo a eficiência de parâmetros.

English

We present DriveGen3D, a novel framework for generating high-quality and highly controllable dynamic 3D driving scenes that addresses critical limitations in existing methodologies. Current approaches to driving scene synthesis either suffer from prohibitive computational demands for extended temporal generation, focus exclusively on prolonged video synthesis without 3D representation, or restrict themselves to static single-scene reconstruction. Our work bridges this methodological gap by integrating accelerated long-term video generation with large-scale dynamic scene reconstruction through multimodal conditional control. DriveGen3D introduces a unified pipeline consisting of two specialized components: FastDrive-DiT, an efficient video diffusion transformer for high-resolution, temporally coherent video synthesis under text and Bird's-Eye-View (BEV) layout guidance; and FastRecon3D, a feed-forward reconstruction module that rapidly builds 3D Gaussian representations across time, ensuring spatial-temporal consistency. Together, these components enable real-time generation of extended driving videos (up to 424times800 at 12 FPS) and corresponding dynamic 3D scenes, achieving SSIM of 0.811 and PSNR of 22.84 on novel view synthesis, all while maintaining parameter efficiency.