OmniNWM: Allwissende Fahrnavigations-Weltmodelle

OmniNWM: Omniscient Driving Navigation World Models

October 21, 2025

papers.authors: Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Chao Ma, Yueming Jin, Hao Zhao, Wenjun Zeng, Xin Jin

cs.AI

papers.abstract

Autonome Fahrweltmodelle sollen effektiv in drei Kernbereichen arbeiten: Zustand, Aktion und Belohnung. Bisherige Modelle sind jedoch typischerweise auf begrenzte Zustandsmodalitäten, kurze Videosequenzen, unpräzise Aktionssteuerung und mangelnde Belohnungsbewusstheit beschränkt. In diesem Artikel stellen wir OmniNWM vor, ein allwissendes panoramisches Navigationsweltmodell, das alle drei Dimensionen in einem einheitlichen Rahmen adressiert. Für den Zustand generiert OmniNWM gemeinsam Panoramavideos von RGB, Semantik, metrischer Tiefe und 3D-Besetzung. Eine flexible Forcing-Strategie ermöglicht eine hochwertige autoregressive Generierung über lange Zeithorizonte. Für die Aktion führen wir eine normalisierte panoramische Plücker-Strahlkarten-Darstellung ein, die Eingabetrajektorien in pixelgenaue Signale kodiert und eine hochpräzise und generalisierbare Steuerung der Panoramavideogenerierung ermöglicht. In Bezug auf die Belohnung gehen wir über das Lernen von Belohnungsfunktionen mit externen bildbasierten Modellen hinaus: Stattdessen nutzen wir die generierte 3D-Besetzung, um regelbasierte dichte Belohnungen für Fahrkonformität und Sicherheit direkt zu definieren. Umfangreiche Experimente zeigen, dass OmniNWM Spitzenleistungen in der Videogenerierung, der Steuerungsgenauigkeit und der Langzeitstabilität erreicht, während es durch besetzungsbasierte Belohnungen ein zuverlässiges geschlossenes Bewertungsframework bietet. Die Projektseite ist verfügbar unter https://github.com/Arlo0o/OmniNWM.

English

Autonomous driving world models are expected to work effectively across three core dimensions: state, action, and reward. Existing models, however, are typically restricted to limited state modalities, short video sequences, imprecise action control, and a lack of reward awareness. In this paper, we introduce OmniNWM, an omniscient panoramic navigation world model that addresses all three dimensions within a unified framework. For state, OmniNWM jointly generates panoramic videos of RGB, semantics, metric depth, and 3D occupancy. A flexible forcing strategy enables high-quality long-horizon auto-regressive generation. For action, we introduce a normalized panoramic Plucker ray-map representation that encodes input trajectories into pixel-level signals, enabling highly precise and generalizable control over panoramic video generation. Regarding reward, we move beyond learning reward functions with external image-based models: instead, we leverage the generated 3D occupancy to directly define rule-based dense rewards for driving compliance and safety. Extensive experiments demonstrate that OmniNWM achieves state-of-the-art performance in video generation, control accuracy, and long-horizon stability, while providing a reliable closed-loop evaluation framework through occupancy-grounded rewards. Project page is available at https://github.com/Arlo0o/OmniNWM.