Modelos Visão-Linguagem-Ação para Condução Autónoma: Passado, Presente e Futuro
Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future
December 18, 2025
Autores: Tianshuai Hu, Xiaolu Liu, Song Wang, Yiyao Zhu, Ao Liang, Lingdong Kong, Guoyang Zhao, Zeying Gong, Jun Cen, Zhiyu Huang, Xiaoshuai Hao, Linfeng Li, Hang Song, Xiangtai Li, Jun Ma, Shaojie Shen, Jianke Zhu, Dacheng Tao, Ziwei Liu, Junwei Liang
cs.AI
Resumo
A condução autónoma tem dependido historicamente de pipelines modulares do tipo "Perceção-Decisão-Ação", onde interfaces manuais e componentes baseados em regras frequentemente falham em cenários complexos ou de cauda longa. O seu design em cascata propaga ainda mais os erros de perceção, degradando o planeamento e controlo subsequentes. Os modelos Visão-Ação (VA) abordam algumas limitações ao aprender mapeamentos diretos de entradas visuais para ações, mas permanecem opacos, sensíveis a mudanças de distribuição e carecem de capacidades de raciocínio estruturado ou de seguimento de instruções. Os recentes progressos em Modelos de Linguagem de Grande Escala (LLMs) e aprendizagem multimodal motivaram o surgimento de arquiteturas Visão-Linguagem-Ação (VLA), que integram a perceção com a tomada de decisão fundamentada em linguagem. Ao unificar a compreensão visual, o raciocínio linguístico e as saídas acionáveis, as VLAs oferecem um caminho para políticas de condução mais interpretáveis, generalizáveis e alinhadas com o ser humano. Este trabalho fornece uma caracterização estruturada do panorama emergente das VLAs para a condução autónoma. Traçamos a evolução desde as primeiras abordagens VA até às arquiteturas VLA modernas e organizamos os métodos existentes em dois paradigmas principais: VLA de Ponto-a-Ponto, que integra perceção, raciocínio e planeamento num único modelo, e VLA de Sistema Duplo, que separa a deliberação lenta (via VLMs) da execução rápida e crítica para a segurança (via planeadores). Dentro destes paradigmas, distinguimos ainda subclasses, como geradores de ação textuais versus numéricos e mecanismos de orientação explícitos versus implícitos. Também resumimos conjuntos de dados e benchmarks representativos para avaliar sistemas de condução baseados em VLA e destacamos desafios-chave e direções em aberto, incluindo robustez, interpretabilidade e fidelidade às instruções. Globalmente, este trabalho visa estabelecer uma base coerente para o avanço de sistemas de condução autónoma compatíveis com o ser humano.
English
Autonomous driving has long relied on modular "Perception-Decision-Action" pipelines, where hand-crafted interfaces and rule-based components often break down in complex or long-tailed scenarios. Their cascaded design further propagates perception errors, degrading downstream planning and control. Vision-Action (VA) models address some limitations by learning direct mappings from visual inputs to actions, but they remain opaque, sensitive to distribution shifts, and lack structured reasoning or instruction-following capabilities. Recent progress in Large Language Models (LLMs) and multimodal learning has motivated the emergence of Vision-Language-Action (VLA) frameworks, which integrate perception with language-grounded decision making. By unifying visual understanding, linguistic reasoning, and actionable outputs, VLAs offer a pathway toward more interpretable, generalizable, and human-aligned driving policies. This work provides a structured characterization of the emerging VLA landscape for autonomous driving. We trace the evolution from early VA approaches to modern VLA frameworks and organize existing methods into two principal paradigms: End-to-End VLA, which integrates perception, reasoning, and planning within a single model, and Dual-System VLA, which separates slow deliberation (via VLMs) from fast, safety-critical execution (via planners). Within these paradigms, we further distinguish subclasses such as textual vs. numerical action generators and explicit vs. implicit guidance mechanisms. We also summarize representative datasets and benchmarks for evaluating VLA-based driving systems and highlight key challenges and open directions, including robustness, interpretability, and instruction fidelity. Overall, this work aims to establish a coherent foundation for advancing human-compatible autonomous driving systems.