UniDriveVLA: Unificação da Compreensão, Percepção e Planejamento de Ações para Condução Autônoma
UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
April 2, 2026
Autores: Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan, Kaixin Xiong, Long Chen, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang
cs.AI
Resumo
Os modelos Visão-Linguagem-Ação (VLA) surgiram recentemente na condução autónoma, com a promessa de aproveitar o conhecimento rico do mundo para melhorar as capacidades cognitivas dos sistemas de condução. No entanto, a adaptação de tais modelos para tarefas de condução enfrenta atualmente um dilema crítico entre a perceção espacial e o raciocínio semântico. Consequentemente, os sistemas VLA existentes são forçados a compromissos subótimos: a adoção direta de Modelos de Linguagem Visual 2D produz uma perceção espacial limitada, enquanto a sua melhoria com representações espaciais 3D prejudica frequentemente a capacidade de raciocínio nativa dos VLMs. Argumentamos que este dilema deriva em grande parte da otimização acoplada da perceção espacial e do raciocínio semântico dentro de parâmetros de modelo partilhados. Para superar isto, propomos o UniDriveVLA, um modelo Unificado de Condução Visão-Linguagem-Ação baseado em Mistura de Transformadores que aborda o conflito perceção-raciocínio através do desacoplamento de especialistas. Especificamente, compreende três especialistas para compreensão da condução, perceção da cena e planeamento de ação, que são coordenados através de atenção conjunta mascarada. Além disso, combinamos um paradigma de perceção esparsa com uma estratégia de treino progressivo em três fases para melhorar a perceção espacial, mantendo a capacidade de raciocínio semântico. Experiências extensivas mostram que o UniDriveVLA alcança um desempenho state-of-the-art na avaliação de ciclo aberto no nuScenes e na avaliação de ciclo fechado no Bench2Drive. Além disso, demonstra um forte desempenho numa vasta gama de tarefas de perceção, previsão e compreensão, incluindo deteção 3D, mapeamento online, previsão de movimento e VQA orientado para a condução, destacando a sua ampla aplicabilidade como um modelo unificado para condução autónoma. O código e o modelo foram disponibilizados em https://github.com/xiaomi-research/unidrivevla.
English
Vision-Language-Action (VLA) models have recently emerged in autonomous driving, with the promise of leveraging rich world knowledge to improve the cognitive capabilities of driving systems. However, adapting such models for driving tasks currently faces a critical dilemma between spatial perception and semantic reasoning. Consequently, existing VLA systems are forced into suboptimal compromises: directly adopting 2D Vision-Language Models yields limited spatial perception, whereas enhancing them with 3D spatial representations often impairs the native reasoning capacity of VLMs. We argue that this dilemma largely stems from the coupled optimization of spatial perception and semantic reasoning within shared model parameters. To overcome this, we propose UniDriveVLA, a Unified Driving Vision-Language-Action model based on Mixture-of-Transformers that addresses the perception-reasoning conflict via expert decoupling. Specifically, it comprises three experts for driving understanding, scene perception, and action planning, which are coordinated through masked joint attention. In addition, we combine a sparse perception paradigm with a three-stage progressive training strategy to improve spatial perception while maintaining semantic reasoning capability. Extensive experiments show that UniDriveVLA achieves state-of-the-art performance in open-loop evaluation on nuScenes and closed-loop evaluation on Bench2Drive. Moreover, it demonstrates strong performance across a broad range of perception, prediction, and understanding tasks, including 3D detection, online mapping, motion forecasting, and driving-oriented VQA, highlighting its broad applicability as a unified model for autonomous driving. Code and model have been released at https://github.com/xiaomi-research/unidrivevla