Uma Análise sobre Modelos Visão-Linguagem-Ação para Condução Autônoma

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

Autores: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

Resumo

O rápido progresso dos modelos de linguagem multimodal de grande escala (MLLM) abriu caminho para os paradigmas Visão-Linguagem-Ação (VLA), que integram percepção visual, compreensão de linguagem natural e controle em uma única política. Pesquisadores em direção autônoma estão ativamente adaptando esses métodos ao domínio veicular. Tais modelos prometem veículos autônomos capazes de interpretar instruções de alto nível, raciocinar sobre cenas de tráfego complexas e tomar suas próprias decisões. No entanto, a literatura permanece fragmentada e está se expandindo rapidamente. Esta pesquisa oferece a primeira visão abrangente de VLA para Direção Autônoma (VLA4AD). Nós (i) formalizamos os blocos de construção arquitetônicos compartilhados entre trabalhos recentes, (ii) traçamos a evolução desde os primeiros modelos explicativos até os modelos VLA centrados no raciocínio, e (iii) comparamos mais de 20 modelos representativos de acordo com o progresso do VLA no domínio da direção autônoma. Também consolidamos os conjuntos de dados e benchmarks existentes, destacando protocolos que medem conjuntamente a segurança na direção, a precisão e a qualidade da explicação. Por fim, detalhamos desafios em aberto - robustez, eficiência em tempo real e verificação formal - e delineamos direções futuras para o VLA4AD. Esta pesquisa fornece uma referência concisa, porém completa, para o avanço de veículos autônomos interpretáveis e socialmente alinhados. O repositório Github está disponível em https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.