GenieDrive: Op weg naar een fysica-bewust rijsimulatiemodel met 4D-occupancy-gestuurde videogeneratie
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
December 14, 2025
Auteurs: Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao
cs.AI
Samenvatting
Een natuurkundig bewust wereldmodel voor autorijden is essentieel voor rijplanning, synthese van out-of-distribution gegevens en gesloten-lus evaluatie. Bestaande methoden zijn echter vaak afhankelijk van een enkel diffusiemodel om rijacties direct naar video's af te beelden, wat het leerproces bemoeilijkt en leidt tot fysiek inconsistente uitkomsten. Om deze uitdagingen te overwinnen, stellen we GenieDrive voor, een nieuw raamwerk ontworpen voor natuurkundig bewuste generatie van rijvideo's. Onze aanpak begint met het genereren van 4D-occupancy, dat dient als een natuurkundig onderbouwde basis voor de daaropvolgende videogeneratie. 4D-occupancy bevat rijke fysieke informatie, waaronder hoogresolutie 3D-structuren en dynamiek. Om een effectieve compressie van dergelijke hoogresolutie occupancy te vergemakkelijken, stellen we een VAE voor die occupancy codeert in een latente tri-plane representatie, waardoor de latente grootte wordt teruggebracht tot slechts 58% van die in eerdere methoden. We introduceren verder Mutual Control Attention (MCA) om de invloed van controle op de occupancy-evolutie nauwkeurig te modelleren, en we trainen de VAE en de daaropvolgende voorspellingsmodule gezamenlijk end-to-end om de voorspellingsnauwkeurigheid te maximaliseren. Gezamenlijk leveren deze ontwerpen een verbetering van 7,2% in voorspellings-mIoU op bij een inferentiesnelheid van 41 FPS, terwijl slechts 3,47 M parameters worden gebruikt. Daarnaast wordt een Genormaliseerde Multi-View Attention geïntroduceerd in het videogeneratiemodel om multi-view rijvideo's te genereren met begeleiding van onze 4D-occupancy, wat de videokwaliteit aanzienlijk verbetert met een reductie van 20,7% in FVD. Experimenten tonen aan dat GenieDrive hoogst stuurbare, multi-view consistente en natuurkundig bewuste generatie van rijvideo's mogelijk maakt.
English
Physics-aware driving world model is essential for drive planning, out-of-distribution data synthesis, and closed-loop evaluation. However, existing methods often rely on a single diffusion model to directly map driving actions to videos, which makes learning difficult and leads to physically inconsistent outputs. To overcome these challenges, we propose GenieDrive, a novel framework designed for physics-aware driving video generation. Our approach starts by generating 4D occupancy, which serves as a physics-informed foundation for subsequent video generation. 4D occupancy contains rich physical information, including high-resolution 3D structures and dynamics. To facilitate effective compression of such high-resolution occupancy, we propose a VAE that encodes occupancy into a latent tri-plane representation, reducing the latent size to only 58% of that used in previous methods. We further introduce Mutual Control Attention (MCA) to accurately model the influence of control on occupancy evolution, and we jointly train the VAE and the subsequent prediction module in an end-to-end manner to maximize forecasting accuracy. Together, these designs yield a 7.2% improvement in forecasting mIoU at an inference speed of 41 FPS, while using only 3.47 M parameters. Additionally, a Normalized Multi-View Attention is introduced in the video generation model to generate multi-view driving videos with guidance from our 4D occupancy, significantly improving video quality with a 20.7% reduction in FVD. Experiments demonstrate that GenieDrive enables highly controllable, multi-view consistent, and physics-aware driving video generation.