Eine Übersicht über Vision-Sprache-Aktion-Modelle für autonomes Fahren

papers.abstract

Der rasche Fortschritt multimodaler großer Sprachmodelle (MLLM) hat den Weg für Vision-Language-Action (VLA)-Paradigmen geebnet, die visuelle Wahrnehmung, natürliches Sprachverständnis und Steuerung in einer einzigen Policy integrieren. Forscher im Bereich des autonomen Fahrens passen diese Methoden aktiv auf den Fahrzeugbereich an. Solche Modelle versprechen autonome Fahrzeuge, die hochrangige Anweisungen interpretieren, komplexe Verkehrsszenen analysieren und eigene Entscheidungen treffen können. Die Literatur bleibt jedoch fragmentiert und expandiert schnell. Dieser Überblick bietet die erste umfassende Darstellung von VLA für autonomes Fahren (VLA4AD). Wir (i) formalisieren die architektonischen Bausteine, die in aktuellen Arbeiten gemeinsam genutzt werden, (ii) verfolgen die Entwicklung von frühen Erklärungsmodellen hin zu vernunftzentrierten VLA-Modellen und (iii) vergleichen über 20 repräsentative Modelle entsprechend des Fortschritts von VLA im Bereich des autonomen Fahrens. Wir konsolidieren auch bestehende Datensätze und Benchmarks und heben Protokolle hervor, die Fahrzeugsicherheit, Genauigkeit und Erklärungsqualität gemeinsam messen. Schließlich gehen wir auf offene Herausforderungen ein – Robustheit, Echtzeiteffizienz und formale Verifikation – und skizzieren zukünftige Richtungen von VLA4AD. Dieser Überblick bietet eine prägnante, aber vollständige Referenz für die Weiterentwicklung interpretierbarer, sozial ausgerichteter autonomer Fahrzeuge. Das Github-Repo ist verfügbar unter https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

Eine Übersicht über Vision-Sprache-Aktion-Modelle für autonomes Fahren

A Survey on Vision-Language-Action Models for Autonomous Driving

papers.abstract

Support