DriveGen3D : Amélioration de la génération de scènes de conduite en flux direct grâce à une diffusion vidéo efficace

DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion

October 17, 2025

papers.authors: Weijie Wang, Jiagang Zhu, Zeyu Zhang, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Chaojun Ni, Haoxiao Wang, Guan Huang, Xinze Chen, Yukun Zhou, Wenkang Qin, Duochao Shi, Haoyun Li, Guanghong Jia, Jiwen Lu

cs.AI

papers.abstract

Nous présentons DriveGen3D, un nouveau cadre pour la génération de scènes de conduite dynamiques 3D de haute qualité et hautement contrôlables, qui répond aux limitations critiques des méthodologies existantes. Les approches actuelles de synthèse de scènes de conduite souffrent soit de demandes computationnelles prohibitives pour une génération temporelle étendue, se concentrent exclusivement sur la synthèse de vidéos prolongées sans représentation 3D, ou se limitent à la reconstruction statique d'une seule scène. Notre travail comble cette lacune méthodologique en intégrant une génération vidéo à long terme accélérée avec une reconstruction de scène dynamique à grande échelle grâce à un contrôle conditionnel multimodal. DriveGen3D introduit un pipeline unifié composé de deux éléments spécialisés : FastDrive-DiT, un transformateur de diffusion vidéo efficace pour la synthèse de vidéos à haute résolution et cohérence temporelle sous guidage de texte et de mise en page en vue de dessus (BEV) ; et FastRecon3D, un module de reconstruction en feed-forward qui construit rapidement des représentations 3D Gaussiennes à travers le temps, assurant une cohérence spatio-temporelle. Ensemble, ces composants permettent la génération en temps réel de vidéos de conduite étendues (jusqu'à 424x800 à 12 FPS) et des scènes 3D dynamiques correspondantes, atteignant un SSIM de 0,811 et un PSNR de 22,84 sur la synthèse de nouvelles vues, tout en maintenant une efficacité paramétrique.

English

We present DriveGen3D, a novel framework for generating high-quality and highly controllable dynamic 3D driving scenes that addresses critical limitations in existing methodologies. Current approaches to driving scene synthesis either suffer from prohibitive computational demands for extended temporal generation, focus exclusively on prolonged video synthesis without 3D representation, or restrict themselves to static single-scene reconstruction. Our work bridges this methodological gap by integrating accelerated long-term video generation with large-scale dynamic scene reconstruction through multimodal conditional control. DriveGen3D introduces a unified pipeline consisting of two specialized components: FastDrive-DiT, an efficient video diffusion transformer for high-resolution, temporally coherent video synthesis under text and Bird's-Eye-View (BEV) layout guidance; and FastRecon3D, a feed-forward reconstruction module that rapidly builds 3D Gaussian representations across time, ensuring spatial-temporal consistency. Together, these components enable real-time generation of extended driving videos (up to 424times800 at 12 FPS) and corresponding dynamic 3D scenes, achieving SSIM of 0.811 and PSNR of 22.84 on novel view synthesis, all while maintaining parameter efficiency.