DriveGen3D: Verbesserung der Vorwärtsgenerierung von Fahrsequenzen durch effiziente Videodiffusion

DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion

October 17, 2025

papers.authors: Weijie Wang, Jiagang Zhu, Zeyu Zhang, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Chaojun Ni, Haoxiao Wang, Guan Huang, Xinze Chen, Yukun Zhou, Wenkang Qin, Duochao Shi, Haoyun Li, Guanghong Jia, Jiwen Lu

cs.AI

papers.abstract

Wir präsentieren DriveGen3D, ein neuartiges Framework zur Erzeugung hochwertiger und hochgradig kontrollierbarer dynamischer 3D-Fahrszenen, das kritische Einschränkungen bestehender Methoden adressiert. Aktuelle Ansätze zur Synthese von Fahrszenen leiden entweder unter prohibitivem Rechenaufwand für die Erzeugung längerer Zeitsequenzen, konzentrieren sich ausschließlich auf die Synthese längerer Videos ohne 3D-Darstellung oder beschränken sich auf die Rekonstruktion statischer Einzelszenen. Unsere Arbeit schließt diese methodische Lücke, indem sie beschleunigte Langzeit-Videosynthese mit großflächiger dynamischer Szenenrekonstruktion durch multimodale bedingte Steuerung kombiniert. DriveGen3D führt eine einheitliche Pipeline ein, die aus zwei spezialisierten Komponenten besteht: FastDrive-DiT, ein effizienter Video-Diffusion-Transformer für die hochauflösende, zeitlich kohärente Videosynthese unter Text- und Vogelperspektiven-(BEV)-Layoutführung; und FastRecon3D, ein Feedforward-Rekonstruktionsmodul, das schnell 3D-Gauß-Darstellungen über die Zeit aufbaut und dabei räumlich-zeitliche Konsistenz gewährleistet. Zusammen ermöglichen diese Komponenten die Echtzeiterzeugung längerer Fahrvideos (bis zu 424×800 bei 12 FPS) und entsprechender dynamischer 3D-Szenen, wobei ein SSIM von 0,811 und ein PSNR von 22,84 bei der Synthese neuer Ansichten erreicht werden, alles bei gleichzeitiger Parameter-Effizienz.

English

We present DriveGen3D, a novel framework for generating high-quality and highly controllable dynamic 3D driving scenes that addresses critical limitations in existing methodologies. Current approaches to driving scene synthesis either suffer from prohibitive computational demands for extended temporal generation, focus exclusively on prolonged video synthesis without 3D representation, or restrict themselves to static single-scene reconstruction. Our work bridges this methodological gap by integrating accelerated long-term video generation with large-scale dynamic scene reconstruction through multimodal conditional control. DriveGen3D introduces a unified pipeline consisting of two specialized components: FastDrive-DiT, an efficient video diffusion transformer for high-resolution, temporally coherent video synthesis under text and Bird's-Eye-View (BEV) layout guidance; and FastRecon3D, a feed-forward reconstruction module that rapidly builds 3D Gaussian representations across time, ensuring spatial-temporal consistency. Together, these components enable real-time generation of extended driving videos (up to 424times800 at 12 FPS) and corresponding dynamic 3D scenes, achieving SSIM of 0.811 and PSNR of 22.84 on novel view synthesis, all while maintaining parameter efficiency.