HERMES++: Rumo a um Modelo de Mundo de Condução Unificado para Compreensão e Geração de Cenas 3D

Resumo

Os modelos de mundo de condução representam uma tecnologia fundamental para a condução autónoma, simulando a dinâmica ambiental. No entanto, as abordagens existentes focam-se predominantemente na geração de cenários futuros, frequentemente negligenciando uma compreensão abrangente da cena 3D. Por outro lado, embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades de raciocínio impressionantes, carecem da capacidade de prever a evolução geométrica futura, criando uma disparidade significativa entre a interpretação semântica e a simulação física. Para colmatar esta lacuna, propomos o HERMES++, um modelo de mundo de condução unificado que integra a compreensão de cenas 3D e a previsão de geometria futura num único framework. A nossa abordagem resolve os requisitos distintos destas tarefas através de designs sinérgicos. Primeiro, uma representação BEV consolida informações espaciais multi-vista numa estrutura compatível com LLMs. Segundo, introduzimos consultas de mundo aprimoradas por LLM para facilitar a transferência de conhecimento do ramo de compreensão. Terceiro, é concebida uma Ligação Presente-Futuro para ultrapassar o hiato temporal, condicionando a evolução geométrica ao contexto semântico. Finalmente, para garantir a integridade estrutural, empregamos uma estratégia de Otimização Geométrica Conjunta que integra restrições geométricas explícitas com regularização latente implícita para alinhar as representações internas com *priors* conscientes da geometria. Avaliações extensivas em múltiplos *benchmarks* validam a eficácia do nosso método. O HERMES++ atinge um desempenho robusto, superando abordagens especializadas tanto na previsão de nuvens de pontos futuras como em tarefas de compreensão de cenas 3D. O modelo e o código serão disponibilizados publicamente em https://github.com/H-EmbodVis/HERMESV2.

English

Driving world models serve as a pivotal technology for autonomous driving by simulating environmental dynamics. However, existing approaches predominantly focus on future scene generation, often overlooking comprehensive 3D scene understanding. Conversely, while Large Language Models (LLMs) demonstrate impressive reasoning capabilities, they lack the capacity to predict future geometric evolution, creating a significant disparity between semantic interpretation and physical simulation. To bridge this gap, we propose HERMES++, a unified driving world model that integrates 3D scene understanding and future geometry prediction within a single framework. Our approach addresses the distinct requirements of these tasks through synergistic designs. First, a BEV representation consolidates multi-view spatial information into a structure compatible with LLMs. Second, we introduce LLM-enhanced world queries to facilitate knowledge transfer from the understanding branch. Third, a Current-to-Future Link is designed to bridge the temporal gap, conditioning geometric evolution on semantic context. Finally, to enforce structural integrity, we employ a Joint Geometric Optimization strategy that integrates explicit geometric constraints with implicit latent regularization to align internal representations with geometry-aware priors. Extensive evaluations on multiple benchmarks validate the effectiveness of our method. HERMES++ achieves strong performance, outperforming specialist approaches in both future point cloud prediction and 3D scene understanding tasks. The model and code will be publicly released at https://github.com/H-EmbodVis/HERMESV2.