GeoDrive: Modelo de Mundo de Condução Informado por Geometria 3D com Controle de Ação Preciso
GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control
May 28, 2025
Autores: Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang
cs.AI
Resumo
Os recentes avanços em modelos de mundo revolucionaram a simulação de ambientes dinâmicos, permitindo que os sistemas prevejam estados futuros e avaliem ações potenciais. Na condução autônoma, essas capacidades ajudam os veículos a antecipar o comportamento de outros usuários da via, realizar planejamento consciente de riscos, acelerar o treinamento em simulação e se adaptar a cenários novos, aumentando assim a segurança e a confiabilidade. As abordagens atuais apresentam deficiências em manter uma consistência geométrica 3D robusta ou em acumular artefatos durante o tratamento de oclusões, ambos críticos para uma avaliação confiável de segurança em tarefas de navegação autônoma. Para resolver isso, introduzimos o GeoDrive, que integra explicitamente condições robustas de geometria 3D em modelos de mundo de condução para aprimorar a compreensão espacial e a controlabilidade das ações. Especificamente, primeiro extraímos uma representação 3D do quadro de entrada e, em seguida, obtemos sua renderização 2D com base na trajetória especificada pelo usuário para o carro ego. Para habilitar a modelagem dinâmica, propomos um módulo de edição dinâmica durante o treinamento para aprimorar as renderizações editando as posições dos veículos. Experimentos extensivos demonstram que nosso método supera significativamente os modelos existentes tanto na precisão das ações quanto na consciência espacial 3D, resultando em uma modelagem de cena mais realista, adaptável e confiável para uma condução autônoma mais segura. Além disso, nosso modelo pode generalizar para novas trajetórias e oferece capacidades interativas de edição de cena, como edição de objetos e controle de trajetória de objetos.
English
Recent advancements in world models have revolutionized dynamic environment
simulation, allowing systems to foresee future states and assess potential
actions. In autonomous driving, these capabilities help vehicles anticipate the
behavior of other road users, perform risk-aware planning, accelerate training
in simulation, and adapt to novel scenarios, thereby enhancing safety and
reliability. Current approaches exhibit deficiencies in maintaining robust 3D
geometric consistency or accumulating artifacts during occlusion handling, both
critical for reliable safety assessment in autonomous navigation tasks. To
address this, we introduce GeoDrive, which explicitly integrates robust 3D
geometry conditions into driving world models to enhance spatial understanding
and action controllability. Specifically, we first extract a 3D representation
from the input frame and then obtain its 2D rendering based on the
user-specified ego-car trajectory. To enable dynamic modeling, we propose a
dynamic editing module during training to enhance the renderings by editing the
positions of the vehicles. Extensive experiments demonstrate that our method
significantly outperforms existing models in both action accuracy and 3D
spatial awareness, leading to more realistic, adaptable, and reliable scene
modeling for safer autonomous driving. Additionally, our model can generalize
to novel trajectories and offers interactive scene editing capabilities, such
as object editing and object trajectory control.