DriveGen3D: Het verbeteren van feed-forward generatie van rijsituaties met efficiënte videodiffusie

DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion

October 17, 2025

Auteurs: Weijie Wang, Jiagang Zhu, Zeyu Zhang, Xiaofeng Wang, Zheng Zhu, Guosheng Zhao, Chaojun Ni, Haoxiao Wang, Guan Huang, Xinze Chen, Yukun Zhou, Wenkang Qin, Duochao Shi, Haoyun Li, Guanghong Jia, Jiwen Lu

cs.AI

Samenvatting

We presenteren DriveGen3D, een nieuw raamwerk voor het genereren van hoogwaardige en sterk bestuurbare dynamische 3D-rijscènes dat kritieke beperkingen in bestaande methodologieën aanpakt. Huidige benaderingen voor het synthetiseren van rijscènes kampen ofwel met onhoudbare rekenkundige eisen voor langdurige temporele generatie, richten zich uitsluitend op langdurige videosynthese zonder 3D-representatie, of beperken zich tot statische reconstructie van één scène. Ons werk overbrugt deze methodologische kloof door versnelde langetermijn-videogeneratie te integreren met grootschalige dynamische scènereconstructie via multimodale conditionele controle. DriveGen3D introduceert een uniforme pijplijn bestaande uit twee gespecialiseerde componenten: FastDrive-DiT, een efficiënte videodiffusie-transformer voor hoogwaardige, temporeel coherente videosynthese onder tekst- en Bird's-Eye-View (BEV)-lay-outbegeleiding; en FastRecon3D, een feed-forward reconstructiemodule die snel 3D Gaussische representaties over tijd opbouwt, waardoor ruimtelijk-temporele consistentie wordt gewaarborgd. Samen maken deze componenten realtime generatie mogelijk van uitgebreide rijvideo's (tot 424×800 bij 12 FPS) en bijbehorende dynamische 3D-scènes, met een SSIM van 0.811 en PSNR van 22.84 voor nieuwe weergavesynthese, terwijl parameter-efficiëntie wordt behouden.

English

We present DriveGen3D, a novel framework for generating high-quality and highly controllable dynamic 3D driving scenes that addresses critical limitations in existing methodologies. Current approaches to driving scene synthesis either suffer from prohibitive computational demands for extended temporal generation, focus exclusively on prolonged video synthesis without 3D representation, or restrict themselves to static single-scene reconstruction. Our work bridges this methodological gap by integrating accelerated long-term video generation with large-scale dynamic scene reconstruction through multimodal conditional control. DriveGen3D introduces a unified pipeline consisting of two specialized components: FastDrive-DiT, an efficient video diffusion transformer for high-resolution, temporally coherent video synthesis under text and Bird's-Eye-View (BEV) layout guidance; and FastRecon3D, a feed-forward reconstruction module that rapidly builds 3D Gaussian representations across time, ensuring spatial-temporal consistency. Together, these components enable real-time generation of extended driving videos (up to 424times800 at 12 FPS) and corresponding dynamic 3D scenes, achieving SSIM of 0.811 and PSNR of 22.84 on novel view synthesis, all while maintaining parameter efficiency.