GenieDrive: Verso un Modello del Mondo della Guida Consapevole della Fisica con Generazione Video Guidata da Occupanza 4D
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
December 14, 2025
Autori: Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao
cs.AI
Abstract
Un modello di guida consapevole della fisica è essenziale per la pianificazione della guida, la sintesi di dati fuori distribuzione e la valutazione in ciclo chiuso. Tuttavia, i metodi esistenti spesso si basano su un singolo modello di diffusione per mappare direttamente le azioni di guida in video, rendendo difficile l'apprendimento e producendo risultati fisicamente inconsistenti. Per superare queste sfide, proponiamo GenieDrive, un nuovo framework progettato per la generazione di video di guida fisicamente consapevoli. Il nostro approccio inizia generando un'occupazione 4D, che funge da base informata dalla fisica per la successiva generazione video. L'occupazione 4D contiene ricche informazioni fisiche, incluse strutture 3D ad alta risoluzione e dinamiche. Per facilitare una compressione efficace di tali occupazioni ad alta risoluzione, proponiamo un VAE che codifica l'occupazione in una rappresentazione latente tri-piano, riducendo la dimensione latente a solo il 58% rispetto ai metodi precedenti. Introduciamo inoltre l'Attention di Controllo Reciproco (MCA) per modellare accuratamente l'influenza del controllo sull'evoluzione dell'occupazione, e addestriamo congiuntamente il VAE e il modulo di previsione successivo in modalità end-to-end per massimizzare l'accuratezza predittiva. Insieme, questi progetti producono un miglioramento del 7.2% nel mIoU predittivo a una velocità di inferenza di 41 FPS, utilizzando solo 3.47 M di parametri. Inoltre, viene introdotta una Normalized Multi-View Attention nel modello di generazione video per generare video di guida multi-vista con la guida della nostra occupazione 4D, migliorando significativamente la qualità video con una riduzione del 20.7% nell'FVD. Gli esperimenti dimostrano che GenieDrive consente una generazione di video di guida altamente controllabile, multi-vista coerente e fisicamente consapevole.
English
Physics-aware driving world model is essential for drive planning, out-of-distribution data synthesis, and closed-loop evaluation. However, existing methods often rely on a single diffusion model to directly map driving actions to videos, which makes learning difficult and leads to physically inconsistent outputs. To overcome these challenges, we propose GenieDrive, a novel framework designed for physics-aware driving video generation. Our approach starts by generating 4D occupancy, which serves as a physics-informed foundation for subsequent video generation. 4D occupancy contains rich physical information, including high-resolution 3D structures and dynamics. To facilitate effective compression of such high-resolution occupancy, we propose a VAE that encodes occupancy into a latent tri-plane representation, reducing the latent size to only 58% of that used in previous methods. We further introduce Mutual Control Attention (MCA) to accurately model the influence of control on occupancy evolution, and we jointly train the VAE and the subsequent prediction module in an end-to-end manner to maximize forecasting accuracy. Together, these designs yield a 7.2% improvement in forecasting mIoU at an inference speed of 41 FPS, while using only 3.47 M parameters. Additionally, a Normalized Multi-View Attention is introduced in the video generation model to generate multi-view driving videos with guidance from our 4D occupancy, significantly improving video quality with a 20.7% reduction in FVD. Experiments demonstrate that GenieDrive enables highly controllable, multi-view consistent, and physics-aware driving video generation.