GeoDrive: Modello del Mondo di Guida Informato dalla Geometria 3D con Controllo di Azione di Precisione
GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control
May 28, 2025
Autori: Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang
cs.AI
Abstract
I recenti progressi nei modelli del mondo hanno rivoluzionato la simulazione di ambienti dinamici, consentendo ai sistemi di prevedere stati futuri e valutare potenziali azioni. Nella guida autonoma, queste capacità aiutano i veicoli a anticipare il comportamento degli altri utenti della strada, eseguire pianificazioni consapevoli del rischio, accelerare l'addestramento in simulazione e adattarsi a scenari nuovi, migliorando così la sicurezza e l'affidabilità. Gli approcci attuali presentano carenze nel mantenere una solida coerenza geometrica 3D o nell'accumulare artefatti durante la gestione delle occlusioni, entrambi aspetti critici per una valutazione affidabile della sicurezza nei compiti di navigazione autonoma. Per affrontare questo problema, introduciamo GeoDrive, che integra esplicitamente condizioni geometriche 3D robuste nei modelli del mondo di guida per migliorare la comprensione spaziale e la controllabilità delle azioni. Nello specifico, estraiamo prima una rappresentazione 3D dal frame di input e poi otteniamo il suo rendering 2D basato sulla traiettoria dell'auto ego specificata dall'utente. Per abilitare la modellazione dinamica, proponiamo un modulo di editing dinamico durante l'addestramento per migliorare i rendering modificando le posizioni dei veicoli. Esperimenti estensivi dimostrano che il nostro metodo supera significativamente i modelli esistenti sia in termini di accuratezza delle azioni che di consapevolezza spaziale 3D, portando a una modellazione di scene più realistica, adattabile e affidabile per una guida autonoma più sicura. Inoltre, il nostro modello può generalizzare a nuove traiettorie e offre capacità di editing interattivo della scena, come l'editing degli oggetti e il controllo delle traiettorie degli oggetti.
English
Recent advancements in world models have revolutionized dynamic environment
simulation, allowing systems to foresee future states and assess potential
actions. In autonomous driving, these capabilities help vehicles anticipate the
behavior of other road users, perform risk-aware planning, accelerate training
in simulation, and adapt to novel scenarios, thereby enhancing safety and
reliability. Current approaches exhibit deficiencies in maintaining robust 3D
geometric consistency or accumulating artifacts during occlusion handling, both
critical for reliable safety assessment in autonomous navigation tasks. To
address this, we introduce GeoDrive, which explicitly integrates robust 3D
geometry conditions into driving world models to enhance spatial understanding
and action controllability. Specifically, we first extract a 3D representation
from the input frame and then obtain its 2D rendering based on the
user-specified ego-car trajectory. To enable dynamic modeling, we propose a
dynamic editing module during training to enhance the renderings by editing the
positions of the vehicles. Extensive experiments demonstrate that our method
significantly outperforms existing models in both action accuracy and 3D
spatial awareness, leading to more realistic, adaptable, and reliable scene
modeling for safer autonomous driving. Additionally, our model can generalize
to novel trajectories and offers interactive scene editing capabilities, such
as object editing and object trajectory control.