Een Overzicht van Vision-Language-Action Modellen voor Autonoom Rijden

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

Auteurs: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

Samenvatting

De snelle vooruitgang van multimodale grote taalmodellen (MLLM) heeft de weg geëffend voor Vision-Language-Action (VLA) paradigma's, die visuele waarneming, natuurlijke taalverwerking en controle integreren binnen één beleid. Onderzoekers op het gebied van autonoom rijden passen deze methoden actief toe in het domein van voertuigen. Dergelijke modellen beloven autonome voertuigen die hoogwaardige instructies kunnen interpreteren, complexe verkeersscènes kunnen analyseren en zelf beslissingen kunnen nemen. De literatuur blijft echter gefragmenteerd en breidt zich snel uit. Dit overzicht biedt de eerste uitgebreide samenvatting van VLA voor Autonoom Rijden (VLA4AD). We (i) formaliseren de architectonische bouwstenen die gedeeld worden in recent werk, (ii) volgen de evolutie van vroege verklarende naar redeneringsgerichte VLA-modellen, en (iii) vergelijken meer dan 20 representatieve modellen op basis van de vooruitgang van VLA in het domein van autonoom rijden. We consolideren ook bestaande datasets en benchmarks, waarbij we protocollen benadrukken die gezamenlijk rijveiligheid, nauwkeurigheid en verklaringskwaliteit meten. Tot slot gaan we in op open uitdagingen - robuustheid, real-time efficiëntie en formele verificatie - en schetsen we toekomstige richtingen voor VLA4AD. Dit overzicht biedt een beknopt maar compleet referentiemateriaal voor de ontwikkeling van interpreteerbare, sociaal afgestemde autonome voertuigen. De Github-repository is beschikbaar op https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.