Una Revisión sobre Modelos Visión-Lenguaje-Acción para la Conducción Autónoma

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

Autores: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

Resumen

El rápido progreso de los modelos de lenguaje multimodal de gran escala (MLLM) ha allanado el camino para los paradigmas de Visión-Lenguaje-Acción (VLA), que integran la percepción visual, la comprensión del lenguaje natural y el control dentro de una única política. Los investigadores en conducción autónoma están adaptando activamente estos métodos al dominio vehicular. Dichos modelos prometen vehículos autónomos capaces de interpretar instrucciones de alto nivel, razonar sobre escenarios de tráfico complejos y tomar sus propias decisiones. Sin embargo, la literatura sigue siendo fragmentada y se está expandiendo rápidamente. Este estudio ofrece la primera visión general exhaustiva de VLA para Conducción Autónoma (VLA4AD). Nosotros (i) formalizamos los bloques arquitectónicos compartidos en trabajos recientes, (ii) trazamos la evolución desde los primeros modelos explicativos hasta los modelos VLA centrados en el razonamiento, y (iii) comparamos más de 20 modelos representativos según el progreso de VLA en el dominio de la conducción autónoma. También consolidamos los conjuntos de datos y benchmarks existentes, destacando protocolos que miden conjuntamente la seguridad en la conducción, la precisión y la calidad de las explicaciones. Finalmente, detallamos los desafíos abiertos —robustez, eficiencia en tiempo real y verificación formal— y esbozamos las direcciones futuras de VLA4AD. Este estudio proporciona una referencia concisa pero completa para avanzar hacia vehículos autónomos interpretables y socialmente alineados. El repositorio de Github está disponible en https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.