Une étude sur les modèles vision-langage-action pour la conduite autonome

papers.abstract

Les progrès rapides des modèles de langage multimodaux de grande taille (MLLM) ont ouvert la voie aux paradigmes Vision-Langage-Action (VLA), qui intègrent la perception visuelle, la compréhension du langage naturel et le contrôle au sein d'une seule politique. Les chercheurs en conduite autonome adaptent activement ces méthodes au domaine des véhicules. De tels modèles promettent des véhicules autonomes capables d'interpréter des instructions de haut niveau, de raisonner sur des scènes de trafic complexes et de prendre leurs propres décisions. Cependant, la littérature reste fragmentée et s'étend rapidement. Cette étude offre le premier aperçu complet des VLA pour la Conduite Autonome (VLA4AD). Nous (i) formalisons les blocs de construction architecturaux communs aux travaux récents, (ii) retraçons l'évolution des premiers modèles explicatifs aux modèles VLA centrés sur le raisonnement, et (iii) comparons plus de 20 modèles représentatifs selon les progrès des VLA dans le domaine de la conduite autonome. Nous consolidons également les ensembles de données et les benchmarks existants, en mettant en avant les protocoles qui mesurent conjointement la sécurité de conduite, la précision et la qualité des explications. Enfin, nous détaillons les défis ouverts - robustesse, efficacité en temps réel et vérification formelle - et esquissons les directions futures des VLA4AD. Cette étude fournit une référence concise mais complète pour faire progresser les véhicules autonomes interprétables et socialement alignés. Le dépôt Github est disponible à l'adresse suivante : https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

Une étude sur les modèles vision-langage-action pour la conduite autonome

A Survey on Vision-Language-Action Models for Autonomous Driving

papers.abstract

Support