Una Rassegna sui Modelli Visione-Linguaggio-Azione per la Guida Autonoma

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

Autori: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

Abstract

Il rapido progresso dei modelli linguistici multimodali di grandi dimensioni (MLLM) ha aperto la strada ai paradigmi Visione-Linguaggio-Azione (VLA), che integrano percezione visiva, comprensione del linguaggio naturale e controllo all'interno di una singola policy. I ricercatori nel campo della guida autonoma stanno attivamente adattando questi metodi al dominio veicolare. Tali modelli promettono veicoli autonomi in grado di interpretare istruzioni di alto livello, ragionare su scenari di traffico complessi e prendere decisioni autonome. Tuttavia, la letteratura rimane frammentata e si sta espandendo rapidamente. Questa survey offre la prima panoramica completa dei VLA per la Guida Autonoma (VLA4AD). Noi (i) formalizziamo i blocchi costitutivi architetturali condivisi dai lavori recenti, (ii) tracciamo l'evoluzione dai primi modelli esplicativi ai modelli VLA centrati sul ragionamento, e (iii) confrontiamo oltre 20 modelli rappresentativi in base ai progressi dei VLA nel dominio della guida autonoma. Consolidiamo inoltre i dataset e i benchmark esistenti, evidenziando i protocolli che misurano congiuntamente sicurezza di guida, accuratezza e qualità delle spiegazioni. Infine, dettagliamo le sfide aperte - robustezza, efficienza in tempo reale e verifica formale - e delineiamo le direzioni future dei VLA4AD. Questa survey fornisce un riferimento conciso ma completo per avanzare verso veicoli autonomi interpretabili e allineati socialmente. Il repository Github è disponibile all'indirizzo https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.