OmniNWM: Alwetende Navigatiemodellen voor Rijden

OmniNWM: Omniscient Driving Navigation World Models

October 21, 2025

Auteurs: Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Chao Ma, Yueming Jin, Hao Zhao, Wenjun Zeng, Xin Jin

cs.AI

Samenvatting

Autonome rijsysteem-wereldmodellen worden verwacht effectief te werken op drie kern dimensies: toestand, actie en beloning. Bestaande modellen zijn echter typisch beperkt tot beperkte toestandsmodaliteiten, korte videosequenties, onnauwkeurige actiecontrole en een gebrek aan beloningsbewustzijn. In dit artikel introduceren we OmniNWM, een alwetend panoramisch navigatiewereldmodel dat alle drie dimensies binnen een uniform raamwerk aanpakt. Voor toestand genereert OmniNWM gezamenlijk panoramische video's van RGB, semantiek, metrische diepte en 3D-bezetting. Een flexibele forceringsstrategie maakt hoogwaardige autoregressieve generatie op lange termijn mogelijk. Voor actie introduceren we een genormaliseerde panoramische Plucker-stralenkaartrepresentatie die invoertrajecten codeert in pixelgebaseerde signalen, waardoor zeer nauwkeurige en generaliseerbare controle over panoramische videogeneratie mogelijk wordt. Wat betreft beloning gaan we verder dan het leren van beloningsfuncties met externe beeldgebaseerde modellen: in plaats daarvan benutten we de gegenereerde 3D-bezetting om direct regelgebaseerde dichte beloningen te definiëren voor rijcompliance en veiligheid. Uitgebreide experimenten tonen aan dat OmniNWM state-of-the-art prestaties bereikt in videogeneratie, controle-nauwkeurigheid en stabiliteit op lange termijn, terwijl het een betrouwbaar gesloten-lus evaluatieraamwerk biedt via bezetting-gebaseerde beloningen. De projectpagina is beschikbaar op https://github.com/Arlo0o/OmniNWM.

English

Autonomous driving world models are expected to work effectively across three core dimensions: state, action, and reward. Existing models, however, are typically restricted to limited state modalities, short video sequences, imprecise action control, and a lack of reward awareness. In this paper, we introduce OmniNWM, an omniscient panoramic navigation world model that addresses all three dimensions within a unified framework. For state, OmniNWM jointly generates panoramic videos of RGB, semantics, metric depth, and 3D occupancy. A flexible forcing strategy enables high-quality long-horizon auto-regressive generation. For action, we introduce a normalized panoramic Plucker ray-map representation that encodes input trajectories into pixel-level signals, enabling highly precise and generalizable control over panoramic video generation. Regarding reward, we move beyond learning reward functions with external image-based models: instead, we leverage the generated 3D occupancy to directly define rule-based dense rewards for driving compliance and safety. Extensive experiments demonstrate that OmniNWM achieves state-of-the-art performance in video generation, control accuracy, and long-horizon stability, while providing a reliable closed-loop evaluation framework through occupancy-grounded rewards. Project page is available at https://github.com/Arlo0o/OmniNWM.