GenieDrive: К созданию физически осознанной модели мира вождения с генерацией видео на основе 4D-оккупанс
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
December 14, 2025
Авторы: Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao
cs.AI
Аннотация
Физически осведомленная модель мира для вождения крайне важна для планирования траектории, синтеза данных за пределами распределения и замкнутой оценки. Однако существующие методы часто полагаются на единую диффузионную модель для прямого преобразования действий вождения в видео, что усложняет обучение и приводит к физически некорректным результатам. Для преодоления этих ограничений мы предлагаем GenieDrive — новую архитектуру, предназначенную для генерации физически осведомленных видео сценариев вождения. Наш подход начинается с генерации 4D-оккупанса, который служит физически обоснованной основой для последующего создания видео. 4D-оккупанс содержит богатую физическую информацию, включая высокоразрешенные 3D-структуры и динамику. Для эффективного сжатия такого высокоразрешенного оккупанса мы предлагаем VAE, который кодирует его в латентное представление в виде три-плоскости, сокращая размер латентного пространства до всего 58% от используемого в предыдущих методах. Мы также вводим механизм Mutual Control Attention (MCA) для точного моделирования влияния управления на эволюцию оккупанса и совместно обучаем VAE с последующим модулем прогнозирования end-to-end для максимизации точности предсказаний. В совокупности эти решения обеспечивают улучшение mIoU прогнозирования на 7.2% при скорости вывода 41 кадр/с, используя лишь 3.47 млн параметров. Дополнительно в модель генерации видео вводится Normalized Multi-View Attention для создания многовидовых видео вождения с учетом нашего 4D-оккупанса, что значительно улучшает качество видео с сокращением FVD на 20.7%. Эксперименты демонстрируют, что GenieDrive позволяет достичь высоко контролируемой, многовидово согласованной и физически осведомленной генерации видео вождения.
English
Physics-aware driving world model is essential for drive planning, out-of-distribution data synthesis, and closed-loop evaluation. However, existing methods often rely on a single diffusion model to directly map driving actions to videos, which makes learning difficult and leads to physically inconsistent outputs. To overcome these challenges, we propose GenieDrive, a novel framework designed for physics-aware driving video generation. Our approach starts by generating 4D occupancy, which serves as a physics-informed foundation for subsequent video generation. 4D occupancy contains rich physical information, including high-resolution 3D structures and dynamics. To facilitate effective compression of such high-resolution occupancy, we propose a VAE that encodes occupancy into a latent tri-plane representation, reducing the latent size to only 58% of that used in previous methods. We further introduce Mutual Control Attention (MCA) to accurately model the influence of control on occupancy evolution, and we jointly train the VAE and the subsequent prediction module in an end-to-end manner to maximize forecasting accuracy. Together, these designs yield a 7.2% improvement in forecasting mIoU at an inference speed of 41 FPS, while using only 3.47 M parameters. Additionally, a Normalized Multi-View Attention is introduced in the video generation model to generate multi-view driving videos with guidance from our 4D occupancy, significantly improving video quality with a 20.7% reduction in FVD. Experiments demonstrate that GenieDrive enables highly controllable, multi-view consistent, and physics-aware driving video generation.