GenieDrive : Vers un modèle du monde de la conduite conscient de la physique avec une génération vidéo guidée par l'occupation 4D
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
December 14, 2025
papers.authors: Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao
cs.AI
papers.abstract
Un modèle de monde de conduite conscient de la physique est essentiel pour la planification de trajectoire, la synthèse de données hors distribution et l'évaluation en boucle fermée. Cependant, les méthodes existantes reposent souvent sur un unique modèle de diffusion pour mapper directement les actions de conduite vers des vidéos, ce qui rend l'apprentissage difficile et produit des résultats physiquement incohérents. Pour surmonter ces limitations, nous proposons GenieDrive, une nouvelle architecture conçue pour la génération de vidéos de conduite conscientes de la physique. Notre approche commence par générer une occupation 4D, qui sert de fondement physique pour la génération vidéo ultérieure. L'occupation 4D contient de riches informations physiques, incluant des structures 3D haute résolution et leur dynamique. Pour faciliter la compression efficace de cette occupation haute résolution, nous proposons un VAE qui encode l'occupation en une représentation latente tri-plan, réduisant la taille latente à seulement 58% de celle utilisée dans les méthodes précédentes. Nous introduisons ensuite une attention de contrôle mutuel (MCA) pour modéliser précisément l'influence du contrôle sur l'évolution de l'occupation, et nous entraînons conjointement le VAE et le module de prédiction suivant de manière end-to-end pour maximiser la précision des prévisions. Ensemble, ces conceptions permettent une amélioration de 7,2% du mIoU de prévision à une vitesse d'inférence de 41 FPS, tout en utilisant seulement 3,47 M de paramètres. De plus, une attention normalisée multi-vues est introduite dans le modèle de génération vidéo pour produire des vidéos de conduite multi-vues guidées par notre occupation 4D, améliorant significativement la qualité vidéo avec une réduction de 20,7% du FVD. Les expériences démontrent que GenieDrive permet une génération de vidéos de conduite hautement contrôlable, cohérente en multi-vues et consciente de la physique.
English
Physics-aware driving world model is essential for drive planning, out-of-distribution data synthesis, and closed-loop evaluation. However, existing methods often rely on a single diffusion model to directly map driving actions to videos, which makes learning difficult and leads to physically inconsistent outputs. To overcome these challenges, we propose GenieDrive, a novel framework designed for physics-aware driving video generation. Our approach starts by generating 4D occupancy, which serves as a physics-informed foundation for subsequent video generation. 4D occupancy contains rich physical information, including high-resolution 3D structures and dynamics. To facilitate effective compression of such high-resolution occupancy, we propose a VAE that encodes occupancy into a latent tri-plane representation, reducing the latent size to only 58% of that used in previous methods. We further introduce Mutual Control Attention (MCA) to accurately model the influence of control on occupancy evolution, and we jointly train the VAE and the subsequent prediction module in an end-to-end manner to maximize forecasting accuracy. Together, these designs yield a 7.2% improvement in forecasting mIoU at an inference speed of 41 FPS, while using only 3.47 M parameters. Additionally, a Normalized Multi-View Attention is introduced in the video generation model to generate multi-view driving videos with guidance from our 4D occupancy, significantly improving video quality with a 20.7% reduction in FVD. Experiments demonstrate that GenieDrive enables highly controllable, multi-view consistent, and physics-aware driving video generation.