HERMES++: 3Dシーン理解と生成のための統合的な運転世界モデルへ向けて

HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

April 30, 2026

著者: Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai

cs.AI

要旨

駆動世界モデルは、環境ダイナミクスをシミュレートする自律運転の中核技術である。しかし既存手法は未来シーン生成に主眼を置き、包括的な3Dシーン理解を軽視する傾向がある。一方、大規模言語モデル（LLM）は優れた推論能力を示すものの、未来の幾何学的変化を予測する機能を欠いており、意味解釈と物理シミュレーションの間に大きな隔たりが生じている。この課題を解決するため、我々は3Dシーン理解と未来幾何予測を単一フレームワークに統合した統一駆動世界モデルHERMES++を提案する。本手法は相補的な設計により両課題の異なる要件に対応する。第一に、BEV表現によりマルチビュー空間情報をLLM互換構造に集約。第二に、理解ブランチからの知識転移を促進するLLM拡張世界クエリを導入。第三に、時間的隔たりを埋めるCurrent-to-Future Linkを設計し、意味的コンテキストに基づく幾何進化を実現。最後に、構造的整合性を強化するため、明示的幾何制約と暗黙的潜在正則化を統合した共同幾何最適化戦略により、内部表現と幾何認識事前分布の整合を図る。複数ベンチマークでの大規模評価により本手法の有効性を検証。HERMES++は未来点群予測と3Dシーン理解の両タスクで専門手法を上回る強力な性能を達成。モデルとコードはhttps://github.com/H-EmbodVis/HERMESV2 で公開予定。

English

Driving world models serve as a pivotal technology for autonomous driving by simulating environmental dynamics. However, existing approaches predominantly focus on future scene generation, often overlooking comprehensive 3D scene understanding. Conversely, while Large Language Models (LLMs) demonstrate impressive reasoning capabilities, they lack the capacity to predict future geometric evolution, creating a significant disparity between semantic interpretation and physical simulation. To bridge this gap, we propose HERMES++, a unified driving world model that integrates 3D scene understanding and future geometry prediction within a single framework. Our approach addresses the distinct requirements of these tasks through synergistic designs. First, a BEV representation consolidates multi-view spatial information into a structure compatible with LLMs. Second, we introduce LLM-enhanced world queries to facilitate knowledge transfer from the understanding branch. Third, a Current-to-Future Link is designed to bridge the temporal gap, conditioning geometric evolution on semantic context. Finally, to enforce structural integrity, we employ a Joint Geometric Optimization strategy that integrates explicit geometric constraints with implicit latent regularization to align internal representations with geometry-aware priors. Extensive evaluations on multiple benchmarks validate the effectiveness of our method. HERMES++ achieves strong performance, outperforming specialist approaches in both future point cloud prediction and 3D scene understanding tasks. The model and code will be publicly released at https://github.com/H-EmbodVis/HERMESV2.