HERMES++: Op weg naar een uniform wereldmodel voor rijscenario's voor 3D-scènebegrip en -generatie
HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation
April 30, 2026
Auteurs: Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai
cs.AI
Samenvatting
Rijdende wereldmodellen vormen een cruciale technologie voor autonoom rijden door de dynamiek van de omgeving te simuleren. Bestaande methoden richten zich echter voornamelijk op het genereren van toekomstige scenario's, waarbij een uitgebreid 3D-scènebegrip vaak over het hoofd wordt gezien. Anderzijds tonen Large Language Models (LLM's) indrukwekkende redeneervaardigheden, maar missen ze het vermogen om toekomstige geometrische evolutie te voorspellen, wat een significante kloof creëert tussen semantische interpretatie en fysieke simulatie. Om deze kloof te overbruggen, stellen we HERMES++ voor, een verenigd rijdend wereldmodel dat 3D-scènebegrip en toekomstige geometrievoorspelling integreert binnen een enkel framework. Onze aanpak adresseert de uiteenlopende vereisten van deze taken door middel van synergetische ontwerpen. Ten eerste consolideert een BEV-representatie multi-view ruimtelijke informatie in een structuur die compatibel is met LLM's. Ten tweede introduceren we LLM-gestuurde wereldqueries om kennisoverdracht vanuit de begripstak te vergemakkelijken. Ten derde is een Current-to-Future Link ontworpen om de temporele kloof te overbruggen, waarbij geometrische evolutie wordt geconditioneerd op semantische context. Tot slot hanteren we een Joint Geometric Optimization-strategie om structurele integriteit af te dwingen, waarbij expliciete geometrische beperkingen worden geïntegreerd met impliciete latente regularisatie om interne representaties af te stemmen op geometrisch-bewuste prior knowledge. Uitgebreide evaluaties op meerdere benchmarks valideren de effectiviteit van onze methode. HERMES++ behaalt sterke prestaties en overtreft gespecialiseerde aanpakken in zowel toekomstige pointcloud-voorspelling als 3D-scènebegriptaken. Het model en de code zullen openbaar worden vrijgegeven op https://github.com/H-EmbodVis/HERMESV2.
English
Driving world models serve as a pivotal technology for autonomous driving by simulating environmental dynamics. However, existing approaches predominantly focus on future scene generation, often overlooking comprehensive 3D scene understanding. Conversely, while Large Language Models (LLMs) demonstrate impressive reasoning capabilities, they lack the capacity to predict future geometric evolution, creating a significant disparity between semantic interpretation and physical simulation. To bridge this gap, we propose HERMES++, a unified driving world model that integrates 3D scene understanding and future geometry prediction within a single framework. Our approach addresses the distinct requirements of these tasks through synergistic designs. First, a BEV representation consolidates multi-view spatial information into a structure compatible with LLMs. Second, we introduce LLM-enhanced world queries to facilitate knowledge transfer from the understanding branch. Third, a Current-to-Future Link is designed to bridge the temporal gap, conditioning geometric evolution on semantic context. Finally, to enforce structural integrity, we employ a Joint Geometric Optimization strategy that integrates explicit geometric constraints with implicit latent regularization to align internal representations with geometry-aware priors. Extensive evaluations on multiple benchmarks validate the effectiveness of our method. HERMES++ achieves strong performance, outperforming specialist approaches in both future point cloud prediction and 3D scene understanding tasks. The model and code will be publicly released at https://github.com/H-EmbodVis/HERMESV2.