OmniNWM: Modelos Mundiales Omniscientes para Navegación en Conducción

OmniNWM: Omniscient Driving Navigation World Models

October 21, 2025

Autores: Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Chao Ma, Yueming Jin, Hao Zhao, Wenjun Zeng, Xin Jin

cs.AI

Resumen

Se espera que los modelos del mundo para la conducción autónoma funcionen de manera efectiva en tres dimensiones principales: estado, acción y recompensa. Sin embargo, los modelos existentes suelen estar restringidos a modalidades de estado limitadas, secuencias de video cortas, control de acciones impreciso y falta de conciencia sobre la recompensa. En este artículo, presentamos OmniNWM, un modelo del mundo de navegación panorámica omnisciente que aborda las tres dimensiones dentro de un marco unificado. Para el estado, OmniNWM genera conjuntamente videos panorámicos de RGB, semántica, profundidad métrica y ocupación 3D. Una estrategia de forzado flexible permite una generación autorregresiva de alta calidad a largo plazo. Para la acción, introducimos una representación normalizada de mapa de rayos Plücker panorámico que codifica trayectorias de entrada en señales a nivel de píxel, permitiendo un control altamente preciso y generalizable sobre la generación de videos panorámicos. En cuanto a la recompensa, vamos más allá del aprendizaje de funciones de recompensa con modelos externos basados en imágenes: en su lugar, aprovechamos la ocupación 3D generada para definir directamente recompensas densas basadas en reglas para el cumplimiento y la seguridad en la conducción. Experimentos extensos demuestran que OmniNWM logra un rendimiento de vanguardia en la generación de videos, precisión de control y estabilidad a largo plazo, al tiempo que proporciona un marco de evaluación de bucle cerrado confiable a través de recompensas basadas en ocupación. La página del proyecto está disponible en https://github.com/Arlo0o/OmniNWM.

English

Autonomous driving world models are expected to work effectively across three core dimensions: state, action, and reward. Existing models, however, are typically restricted to limited state modalities, short video sequences, imprecise action control, and a lack of reward awareness. In this paper, we introduce OmniNWM, an omniscient panoramic navigation world model that addresses all three dimensions within a unified framework. For state, OmniNWM jointly generates panoramic videos of RGB, semantics, metric depth, and 3D occupancy. A flexible forcing strategy enables high-quality long-horizon auto-regressive generation. For action, we introduce a normalized panoramic Plucker ray-map representation that encodes input trajectories into pixel-level signals, enabling highly precise and generalizable control over panoramic video generation. Regarding reward, we move beyond learning reward functions with external image-based models: instead, we leverage the generated 3D occupancy to directly define rule-based dense rewards for driving compliance and safety. Extensive experiments demonstrate that OmniNWM achieves state-of-the-art performance in video generation, control accuracy, and long-horizon stability, while providing a reliable closed-loop evaluation framework through occupancy-grounded rewards. Project page is available at https://github.com/Arlo0o/OmniNWM.