HERMES++: 3D 장면 이해 및 생성을 위한 통합 주행 세계 모델로의 진화

HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

April 30, 2026

저자: Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai

cs.AI

초록

주행 세계 모델은 환경 역학을 시뮬레이션함으로써 자율주행의 핵심 기술 역할을 합니다. 그러나 기존 접근법은 주로 미래 장면 생성을 중심으로 이루어져 포괄적인 3D 장면 이해를 간과하는 경향이 있습니다. 반면, 대규모 언어 모델(LLM)은 인상적인 추론 능력을 보여주지만 미래 기하학적 변화를 예측하는 능력이 부족하여 의미론적 해석과 물리적 시뮬레이션 간에 상당한 격차가 존재합니다. 이러한 격차를 해소하기 위해 본 논문에서는 단일 프레임워크 내에서 3D 장면 이해와 미래 기하학 예측을 통합한 통합 주행 세계 모델인 HERMES++를 제안합니다. 우리의 접근법은 시너지 설계를 통해 이러한 과업들의 상이한 요구사항을 해결합니다. 첫째, BEV 표현이 다중 뷰 공간 정보를 LLM과 호환 가능한 구조로 통합합니다. 둘째, 이해 분야에서의 지식 전달을 용이하게 하는 LLM 강화 세계 쿼리를 도입합니다. 셋째, 의미론적 문맥에 기반한 기하학적 변화를 조건화하기 위해 시간적 격차를 연결하는 Current-to-Future Link를 설계합니다. 마지막으로, 구조적 무결성을 강화하기 위해 내부 표현을 기하학 인식 사전 지식과 정렬하기 위해 명시적 기하학적 제약과 암묵적 잠재 정규화를 통합하는 Joint Geometric Optimization 전략을 채택합니다. 다중 벤치마크에 대한 광범위한 평가를 통해 우리 방법의 효과성을 입증했습니다. HERMES++는 강력한 성능을 달성하며, 미래 포인트 클라우드 예측과 3D 장면 이해 과업 모두에서 전문 접근법을 능가합니다. 모델과 코드는 https://github.com/H-EmbodVis/HERMESV2에서 공개될 예정입니다.

English

Driving world models serve as a pivotal technology for autonomous driving by simulating environmental dynamics. However, existing approaches predominantly focus on future scene generation, often overlooking comprehensive 3D scene understanding. Conversely, while Large Language Models (LLMs) demonstrate impressive reasoning capabilities, they lack the capacity to predict future geometric evolution, creating a significant disparity between semantic interpretation and physical simulation. To bridge this gap, we propose HERMES++, a unified driving world model that integrates 3D scene understanding and future geometry prediction within a single framework. Our approach addresses the distinct requirements of these tasks through synergistic designs. First, a BEV representation consolidates multi-view spatial information into a structure compatible with LLMs. Second, we introduce LLM-enhanced world queries to facilitate knowledge transfer from the understanding branch. Third, a Current-to-Future Link is designed to bridge the temporal gap, conditioning geometric evolution on semantic context. Finally, to enforce structural integrity, we employ a Joint Geometric Optimization strategy that integrates explicit geometric constraints with implicit latent regularization to align internal representations with geometry-aware priors. Extensive evaluations on multiple benchmarks validate the effectiveness of our method. HERMES++ achieves strong performance, outperforming specialist approaches in both future point cloud prediction and 3D scene understanding tasks. The model and code will be publicly released at https://github.com/H-EmbodVis/HERMESV2.