GeoDrive: 3D Geometrie-Gestuurd Rijwereldmodel met Nauwkeurige Actiecontrole
GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control
May 28, 2025
Auteurs: Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang
cs.AI
Samenvatting
Recente ontwikkelingen in wereldmodellen hebben een revolutie teweeggebracht in de simulatie van dynamische omgevingen, waardoor systemen toekomstige toestanden kunnen voorzien en potentiële acties kunnen beoordelen. In autonoom rijden helpen deze mogelijkheden voertuigen om het gedrag van andere weggebruikers te anticiperen, risicobewuste planning uit te voeren, training in simulatie te versnellen en zich aan te passen aan nieuwe scenario's, waardoor de veiligheid en betrouwbaarheid worden verbeterd. Huidige benaderingen vertonen tekortkomingen in het handhaven van robuuste 3D-geometrische consistentie of het accumuleren van artefacten tijdens het omgaan met occlusies, beide cruciaal voor een betrouwbare veiligheidsbeoordeling in autonome navigatietaken. Om dit aan te pakken, introduceren we GeoDrive, dat expliciet robuuste 3D-geometrievoorwaarden integreert in rijdende wereldmodellen om het ruimtelijk begrip en de actiebeheersbaarheid te verbeteren. Specifiek extraheren we eerst een 3D-representatie uit het invoerframe en verkrijgen we vervolgens de 2D-weergave op basis van de door de gebruiker gespecificeerde ego-auto-traject. Om dynamische modellering mogelijk te maken, stellen we een dynamische bewerkingsmodule voor tijdens de training om de weergaven te verbeteren door de posities van de voertuigen te bewerken. Uitgebreide experimenten tonen aan dat onze methode bestaande modellen aanzienlijk overtreft in zowel actienauwkeurigheid als 3D-ruimtelijk bewustzijn, wat leidt tot realistischer, aanpasbaarder en betrouwbaarder scènemodellering voor veiliger autonoom rijden. Daarnaast kan ons model generaliseren naar nieuwe trajecten en biedt het interactieve scènebewerkingsmogelijkheden, zoals objectbewerking en objecttrajectcontrole.
English
Recent advancements in world models have revolutionized dynamic environment
simulation, allowing systems to foresee future states and assess potential
actions. In autonomous driving, these capabilities help vehicles anticipate the
behavior of other road users, perform risk-aware planning, accelerate training
in simulation, and adapt to novel scenarios, thereby enhancing safety and
reliability. Current approaches exhibit deficiencies in maintaining robust 3D
geometric consistency or accumulating artifacts during occlusion handling, both
critical for reliable safety assessment in autonomous navigation tasks. To
address this, we introduce GeoDrive, which explicitly integrates robust 3D
geometry conditions into driving world models to enhance spatial understanding
and action controllability. Specifically, we first extract a 3D representation
from the input frame and then obtain its 2D rendering based on the
user-specified ego-car trajectory. To enable dynamic modeling, we propose a
dynamic editing module during training to enhance the renderings by editing the
positions of the vehicles. Extensive experiments demonstrate that our method
significantly outperforms existing models in both action accuracy and 3D
spatial awareness, leading to more realistic, adaptable, and reliable scene
modeling for safer autonomous driving. Additionally, our model can generalize
to novel trajectories and offers interactive scene editing capabilities, such
as object editing and object trajectory control.