HERMES++ : Vers un modèle unifié du monde de la conduite pour la compréhension et la génération de scènes 3D

HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

April 30, 2026

Auteurs: Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai

cs.AI

Résumé

Les modèles de monde de conduite constituent une technologie essentielle pour la conduite autonome en simulant la dynamique environnementale. Cependant, les approches existantes se concentrent principalement sur la génération de scènes futures, négligeant souvent une compréhension complète des scènes 3D. Inversement, bien que les grands modèles de langage (LLM) démontrent des capacités de raisonnement impressionnantes, ils ne peuvent pas prédire l'évolution géométrique future, créant un écart important entre l'interprétation sémantique et la simulation physique. Pour combler cette lacune, nous proposons HERMES++, un modèle de monde de conduite unifié qui intègre la compréhension de scènes 3D et la prédiction géométrique future dans un cadre unique. Notre approche répond aux exigences distinctes de ces tâches grâce à des conceptions synergiques. Premièrement, une représentation BEV consolide les informations spatiales multi-vues dans une structure compatible avec les LLM. Deuxièmement, nous introduisons des requêtes de monde améliorées par LLM pour faciliter le transfert de connaissances depuis la branche de compréhension. Troisièmement, un lien Current-to-Future est conçu pour combler l'écart temporel, en conditionnant l'évolution géométrique sur le contexte sémantique. Enfin, pour garantir l'intégrité structurelle, nous employons une stratégie d'optimisation géométrique conjointe qui intègre des contraintes géométriques explicites avec une régularisation latente implicite pour aligner les représentations internes avec des prérequis géométriquement conscients. Des évaluations approfondies sur plusieurs benchmarks valident l'efficacité de notre méthode. HERMES++ obtient des performances solides, surpassant les approches spécialisées dans les tâches de prédiction de nuages de points futurs et de compréhension de scènes 3D. Le modèle et le code seront publiés publiquement sur https://github.com/H-EmbodVis/HERMESV2.

English

Driving world models serve as a pivotal technology for autonomous driving by simulating environmental dynamics. However, existing approaches predominantly focus on future scene generation, often overlooking comprehensive 3D scene understanding. Conversely, while Large Language Models (LLMs) demonstrate impressive reasoning capabilities, they lack the capacity to predict future geometric evolution, creating a significant disparity between semantic interpretation and physical simulation. To bridge this gap, we propose HERMES++, a unified driving world model that integrates 3D scene understanding and future geometry prediction within a single framework. Our approach addresses the distinct requirements of these tasks through synergistic designs. First, a BEV representation consolidates multi-view spatial information into a structure compatible with LLMs. Second, we introduce LLM-enhanced world queries to facilitate knowledge transfer from the understanding branch. Third, a Current-to-Future Link is designed to bridge the temporal gap, conditioning geometric evolution on semantic context. Finally, to enforce structural integrity, we employ a Joint Geometric Optimization strategy that integrates explicit geometric constraints with implicit latent regularization to align internal representations with geometry-aware priors. Extensive evaluations on multiple benchmarks validate the effectiveness of our method. HERMES++ achieves strong performance, outperforming specialist approaches in both future point cloud prediction and 3D scene understanding tasks. The model and code will be publicly released at https://github.com/H-EmbodVis/HERMESV2.