Modelli Visione-Linguaggio-Azione per la Guida Autonoma: Passato, Presente e Futuro
Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future
December 18, 2025
Autori: Tianshuai Hu, Xiaolu Liu, Song Wang, Yiyao Zhu, Ao Liang, Lingdong Kong, Guoyang Zhao, Zeying Gong, Jun Cen, Zhiyu Huang, Xiaoshuai Hao, Linfeng Li, Hang Song, Xiangtai Li, Jun Ma, Shaojie Shen, Jianke Zhu, Dacheng Tao, Ziwei Liu, Junwei Liang
cs.AI
Abstract
La guida autonoma si è a lungo basata su pipeline modulari "Percezione-Decisione-Azione", in cui interfacce progettate manualmente e componenti basati su regole spesso falliscono in scenari complessi o a coda lunga. Il loro design a cascata propaga ulteriormente gli errori di percezione, degradando la pianificazione e il controllo a valle. I modelli Vision-Action (VA) affrontano alcune limitazioni apprendendo mappature dirette dagli input visivi alle azioni, ma rimangono opachi, sensibili agli shift di distribuzione e privi di ragionamenti strutturati o capacità di seguire istruzioni. I recenti progressi nei Large Language Model (LLM) e nell'apprendimento multimodale hanno motivato l'emergere di framework Vision-Language-Action (VLA), che integrano la percezione con processi decisionali basati sul linguaggio. Unificando la comprensione visiva, il ragionamento linguistico e output azionabili, i VLA offrono un percorso verso politiche di guida più interpretabili, generalizzabili e allineate con l'umano. Questo lavoro fornisce una caratterizzazione strutturata del panorama VLA emergente per la guida autonoma. Tracciamo l'evoluzione dai primi approcci VA ai moderni framework VLA e organizziamo i metodi esistenti in due paradigmi principali: VLA End-to-End, che integra percezione, ragionamento e pianificazione in un unico modello, e VLA Dual-System, che separa la deliberazione lenta (tramite VLM) dall'esecuzione rapida e critica per la sicurezza (tramite pianificatori). All'interno di questi paradigmi, distinguiamo ulteriormente sottoclassi come generatori di azioni testuali vs. numerici e meccanismi di guida espliciti vs. impliciti. Riassumiamo inoltre i dataset e i benchmark rappresentativi per valutare i sistemi di guida basati su VLA e evidenziamo le principali sfide e direzioni aperte, inclusi robustezza, interpretabilità e fedeltà alle istruzioni. Nel complesso, questo lavoro mira a stabilire una base coerente per far avanzare sistemi di guida autonoma compatibili con l'umano.
English
Autonomous driving has long relied on modular "Perception-Decision-Action" pipelines, where hand-crafted interfaces and rule-based components often break down in complex or long-tailed scenarios. Their cascaded design further propagates perception errors, degrading downstream planning and control. Vision-Action (VA) models address some limitations by learning direct mappings from visual inputs to actions, but they remain opaque, sensitive to distribution shifts, and lack structured reasoning or instruction-following capabilities. Recent progress in Large Language Models (LLMs) and multimodal learning has motivated the emergence of Vision-Language-Action (VLA) frameworks, which integrate perception with language-grounded decision making. By unifying visual understanding, linguistic reasoning, and actionable outputs, VLAs offer a pathway toward more interpretable, generalizable, and human-aligned driving policies. This work provides a structured characterization of the emerging VLA landscape for autonomous driving. We trace the evolution from early VA approaches to modern VLA frameworks and organize existing methods into two principal paradigms: End-to-End VLA, which integrates perception, reasoning, and planning within a single model, and Dual-System VLA, which separates slow deliberation (via VLMs) from fast, safety-critical execution (via planners). Within these paradigms, we further distinguish subclasses such as textual vs. numerical action generators and explicit vs. implicit guidance mechanisms. We also summarize representative datasets and benchmarks for evaluating VLA-based driving systems and highlight key challenges and open directions, including robustness, interpretability, and instruction fidelity. Overall, this work aims to establish a coherent foundation for advancing human-compatible autonomous driving systems.