GeoDrive: 3D-Geometrie-basiertes Fahrweltmodell mit präziser Aktionssteuerung

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control

May 28, 2025

Autoren: Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang

cs.AI

Zusammenfassung

Jüngste Fortschritte in Weltmodellen haben die Simulation dynamischer Umgebungen revolutioniert, indem sie Systemen ermöglichen, zukünftige Zustände vorherzusagen und potenzielle Aktionen zu bewerten. Im Bereich des autonomen Fahrens helfen diese Fähigkeiten Fahrzeugen, das Verhalten anderer Verkehrsteilnehmer vorherzusehen, risikobewusste Planungen durchzuführen, das Training in Simulationen zu beschleunigen und sich an neue Szenarien anzupassen, wodurch Sicherheit und Zuverlässigkeit verbessert werden. Aktuelle Ansätze weisen jedoch Mängel bei der Aufrechterhaltung einer robusten 3D-geometrischen Konsistenz oder bei der Anhäufung von Artefakten während der Behandlung von Verdeckungen auf, die beide für eine zuverlässige Sicherheitsbewertung in autonomen Navigationsaufgaben entscheidend sind. Um dies zu adressieren, stellen wir GeoDrive vor, das robuste 3D-Geometrie-Bedingungen explizit in Fahrmodelle integriert, um das räumliche Verständnis und die Handlungssteuerbarkeit zu verbessern. Konkret extrahieren wir zunächst eine 3D-Darstellung aus dem Eingangsbild und erzeugen dann dessen 2D-Rendering basierend auf der vom Benutzer vorgegebenen Ego-Fahrzeug-Trajektorie. Um dynamische Modellierung zu ermöglichen, schlagen wir ein dynamisches Bearbeitungsmodul während des Trainings vor, das die Renderings durch die Bearbeitung der Fahrzeugpositionen verbessert. Umfangreiche Experimente zeigen, dass unsere Methode bestehende Modelle sowohl in der Handlungsgenauigkeit als auch im 3D-räumlichen Bewusstsein deutlich übertrifft, was zu einer realistischeren, anpassungsfähigeren und zuverlässigeren Szenenmodellierung für sichereres autonomes Fahren führt. Darüber hinaus kann unser Modell auf neue Trajektorien verallgemeinern und bietet interaktive Szenenbearbeitungsfunktionen, wie Objektbearbeitung und Objekttrajektorienkontrolle.

English

Recent advancements in world models have revolutionized dynamic environment simulation, allowing systems to foresee future states and assess potential actions. In autonomous driving, these capabilities help vehicles anticipate the behavior of other road users, perform risk-aware planning, accelerate training in simulation, and adapt to novel scenarios, thereby enhancing safety and reliability. Current approaches exhibit deficiencies in maintaining robust 3D geometric consistency or accumulating artifacts during occlusion handling, both critical for reliable safety assessment in autonomous navigation tasks. To address this, we introduce GeoDrive, which explicitly integrates robust 3D geometry conditions into driving world models to enhance spatial understanding and action controllability. Specifically, we first extract a 3D representation from the input frame and then obtain its 2D rendering based on the user-specified ego-car trajectory. To enable dynamic modeling, we propose a dynamic editing module during training to enhance the renderings by editing the positions of the vehicles. Extensive experiments demonstrate that our method significantly outperforms existing models in both action accuracy and 3D spatial awareness, leading to more realistic, adaptable, and reliable scene modeling for safer autonomous driving. Additionally, our model can generalize to novel trajectories and offers interactive scene editing capabilities, such as object editing and object trajectory control.