GeoDrive: 3D-геометрическая модель вождения с точным управлением действиями

GeoDrive: 3D Geometry-Informed Driving World Model with Precise Action Control

May 28, 2025

Авторы: Anthony Chen, Wenzhao Zheng, Yida Wang, Xueyang Zhang, Kun Zhan, Peng Jia, Kurt Keutzer, Shanghang Zhang

cs.AI

Аннотация

Последние достижения в области мировых моделей произвели революцию в симуляции динамических сред, позволив системам предвидеть будущие состояния и оценивать потенциальные действия. В автономном вождении эти возможности помогают транспортным средствам предугадывать поведение других участников дорожного движения, осуществлять планирование с учетом рисков, ускорять обучение в симуляциях и адаптироваться к новым сценариям, тем самым повышая безопасность и надежность. Современные подходы демонстрируют недостатки в поддержании устойчивой 3D-геометрической согласованности или накоплении артефактов при обработке окклюзий, что критически важно для надежной оценки безопасности в задачах автономной навигации. Для решения этой проблемы мы представляем GeoDrive, который явно интегрирует устойчивые 3D-геометрические условия в модели мира для вождения, чтобы улучшить пространственное понимание и управляемость действий. В частности, мы сначала извлекаем 3D-представление из входного кадра, а затем получаем его 2D-рендеринг на основе заданной пользователем траектории эго-автомобиля. Для обеспечения динамического моделирования мы предлагаем модуль динамического редактирования во время обучения, который улучшает рендеринг путем изменения позиций транспортных средств. Многочисленные эксперименты показывают, что наш метод значительно превосходит существующие модели как по точности действий, так и по осознанию 3D-пространства, что приводит к более реалистичному, адаптивному и надежному моделированию сцен для более безопасного автономного вождения. Кроме того, наша модель способна обобщать новые траектории и предлагает возможности интерактивного редактирования сцен, такие как редактирование объектов и управление их траекториями.

English

Recent advancements in world models have revolutionized dynamic environment simulation, allowing systems to foresee future states and assess potential actions. In autonomous driving, these capabilities help vehicles anticipate the behavior of other road users, perform risk-aware planning, accelerate training in simulation, and adapt to novel scenarios, thereby enhancing safety and reliability. Current approaches exhibit deficiencies in maintaining robust 3D geometric consistency or accumulating artifacts during occlusion handling, both critical for reliable safety assessment in autonomous navigation tasks. To address this, we introduce GeoDrive, which explicitly integrates robust 3D geometry conditions into driving world models to enhance spatial understanding and action controllability. Specifically, we first extract a 3D representation from the input frame and then obtain its 2D rendering based on the user-specified ego-car trajectory. To enable dynamic modeling, we propose a dynamic editing module during training to enhance the renderings by editing the positions of the vehicles. Extensive experiments demonstrate that our method significantly outperforms existing models in both action accuracy and 3D spatial awareness, leading to more realistic, adaptable, and reliable scene modeling for safer autonomous driving. Additionally, our model can generalize to novel trajectories and offers interactive scene editing capabilities, such as object editing and object trajectory control.