GenieDrive: Auf dem Weg zu einem physikbewussten Fahrmodell der Welt mit 4D-Okkupanzgeführter Videogenerierung
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
December 14, 2025
papers.authors: Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao
cs.AI
papers.abstract
Ein physikalisches Fahrweltmodell ist entscheidend für Fahrplanung, die Synthese von Out-of-Distribution-Daten und Closed-Loop-Evaluierung. Bisherige Methoden nutzen jedoch oft ein einziges Diffusionsmodell, um Fahrmanöver direkt auf Videos abzubilden, was das Lernen erschwert und zu physikalisch inkonsistenten Ergebnissen führt. Um diese Herausforderungen zu bewältigen, schlagen wir GenieDrive vor, ein neuartiges Framework für die physikalisch fundierte Erzeugung von Fahrvideos. Unser Ansatz beginnt mit der Generierung von 4D-Occupancy, die als physikalisch informierte Grundlage für die nachfolgende Videogenerierung dient. 4D-Occupancy enthält umfassende physikalische Informationen, einschließlich hochauflösender 3D-Strukturen und Dynamiken. Um eine effektive Komprimierung dieser hochauflösenden Occupancy zu ermöglichen, schlagen wir ein VAE vor, das Occupancy in eine latente Triplane-Repräsentation kodiert und die latente Größe auf nur 58 % der in früheren Methoden verwendeten Größe reduziert. Wir führen weiterhin Mutual Control Attention (MCA) ein, um den Einfluss der Steuerung auf die Occupancy-Entwicklung präzise zu modellieren, und trainieren das VAE und das nachgeschaltete Prognosemodul gemeinsam end-to-end, um die Vorhersagegenauigkeit zu maximieren. Diese Konzepte führen gemeinsam zu einer Verbesserung des Prognose-mIoU um 7,2 % bei einer Inferenzgeschwindigkeit von 41 FPS, während nur 3,47 M Parameter verwendet werden. Zusätzlich wird im Videogenerierungsmodell eine Normalized Multi-View Attention eingeführt, um multiview-Fahrvideos unter Anleitung unserer 4D-Occupancy zu erzeugen, was die Videoqualität bei einer Reduzierung des FVD um 20,7 % erheblich verbessert. Experimente zeigen, dass GenieDrive eine hochgradig steuerbare, multiview-konsistente und physikalisch fundierte Erzeugung von Fahrvideos ermöglicht.
English
Physics-aware driving world model is essential for drive planning, out-of-distribution data synthesis, and closed-loop evaluation. However, existing methods often rely on a single diffusion model to directly map driving actions to videos, which makes learning difficult and leads to physically inconsistent outputs. To overcome these challenges, we propose GenieDrive, a novel framework designed for physics-aware driving video generation. Our approach starts by generating 4D occupancy, which serves as a physics-informed foundation for subsequent video generation. 4D occupancy contains rich physical information, including high-resolution 3D structures and dynamics. To facilitate effective compression of such high-resolution occupancy, we propose a VAE that encodes occupancy into a latent tri-plane representation, reducing the latent size to only 58% of that used in previous methods. We further introduce Mutual Control Attention (MCA) to accurately model the influence of control on occupancy evolution, and we jointly train the VAE and the subsequent prediction module in an end-to-end manner to maximize forecasting accuracy. Together, these designs yield a 7.2% improvement in forecasting mIoU at an inference speed of 41 FPS, while using only 3.47 M parameters. Additionally, a Normalized Multi-View Attention is introduced in the video generation model to generate multi-view driving videos with guidance from our 4D occupancy, significantly improving video quality with a 20.7% reduction in FVD. Experiments demonstrate that GenieDrive enables highly controllable, multi-view consistent, and physics-aware driving video generation.