UniDriveVLA: Унификация понимания, восприятия и планирования действий для автономного вождения

UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving

April 2, 2026

Авторы: Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan, Kaixin Xiong, Long Chen, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

cs.AI

Аннотация

Модели Vision-Language-Action (VLA) недавно появились в области автономного вождения, обещая использование богатых знаний о мире для повышения когнитивных способностей систем вождения. Однако адаптация таких моделей для задач вождения в настоящее время сталкивается с ключевой дилеммой между пространственным восприятием и семантическими рассуждениями. Как следствие, существующие системы VLA вынуждены идти на неоптимальные компромиссы: прямое применение 2D Vision-Language Models дает ограниченное пространственное восприятие, в то время как их усиление с помощью 3D-пространственных представлений часто ухудшает исходные способности VLMs к рассуждениям. Мы полагаем, что эта дилемма в значительной степени проистекает из сопряженной оптимизации пространственного восприятия и семантических рассуждений в рамках общих параметров модели. Чтобы преодолеть это, мы предлагаем UniDriveVLA — унифицированную модель Vision-Language-Action для вождения, основанную на Mixture-of-Transformers, которая решает конфликт между восприятием и рассуждением за счет разделения экспертов. Конкретно, она включает трех экспертов: для понимания вождения, восприятия сцены и планирования действий, которые координируются через маскированное совместное внимание. Кроме того, мы сочетаем парадигму разреженного восприятия с трехэтапной стратегией прогрессивного обучения для улучшения пространственного восприятия при сохранении способности к семантическим рассуждениям. Многочисленные эксперименты показывают, что UniDriveVLA достигает наилучших результатов в открытом цикле оценки на nuScenes и в замкнутом цикле оценки на Bench2Drive. Более того, она демонстрирует высокую производительность в широком спектре задач восприятия, прогнозирования и понимания, включая 3D-детекцию, онлайн-картографирование, прогнозирование траекторий и VQA для задач вождения, что подчеркивает ее широкую применимость в качестве унифицированной модели для автономного вождения. Код и модель доступны по адресу https://github.com/xiaomi-research/unidrivevla.

English

Vision-Language-Action (VLA) models have recently emerged in autonomous driving, with the promise of leveraging rich world knowledge to improve the cognitive capabilities of driving systems. However, adapting such models for driving tasks currently faces a critical dilemma between spatial perception and semantic reasoning. Consequently, existing VLA systems are forced into suboptimal compromises: directly adopting 2D Vision-Language Models yields limited spatial perception, whereas enhancing them with 3D spatial representations often impairs the native reasoning capacity of VLMs. We argue that this dilemma largely stems from the coupled optimization of spatial perception and semantic reasoning within shared model parameters. To overcome this, we propose UniDriveVLA, a Unified Driving Vision-Language-Action model based on Mixture-of-Transformers that addresses the perception-reasoning conflict via expert decoupling. Specifically, it comprises three experts for driving understanding, scene perception, and action planning, which are coordinated through masked joint attention. In addition, we combine a sparse perception paradigm with a three-stage progressive training strategy to improve spatial perception while maintaining semantic reasoning capability. Extensive experiments show that UniDriveVLA achieves state-of-the-art performance in open-loop evaluation on nuScenes and closed-loop evaluation on Bench2Drive. Moreover, it demonstrates strong performance across a broad range of perception, prediction, and understanding tasks, including 3D detection, online mapping, motion forecasting, and driving-oriented VQA, highlighting its broad applicability as a unified model for autonomous driving. Code and model have been released at https://github.com/xiaomi-research/unidrivevla