Обзор моделей "Ви́дение-Язы́к-Де́йствие" для автономного вождения

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

Авторы: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

Аннотация

Быстрый прогресс в области мультимодальных больших языковых моделей (MLLM) открыл путь для парадигм "Видение-Язык-Действие" (VLA), которые интегрируют визуальное восприятие, понимание естественного языка и управление в рамках единой политики. Исследователи в области автономного вождения активно адаптируют эти методы к автомобильной сфере. Такие модели обещают создание автономных транспортных средств, способных интерпретировать высокоуровневые инструкции, анализировать сложные дорожные сцены и принимать самостоятельные решения. Однако литература остается фрагментированной и быстро расширяется. Данный обзор предлагает первое всестороннее рассмотрение VLA для автономного вождения (VLA4AD). Мы (i) формализуем архитектурные блоки, общие для последних работ, (ii) прослеживаем эволюцию от ранних моделей-объяснителей до моделей, ориентированных на рассуждения, и (iii) сравниваем более 20 репрезентативных моделей в соответствии с прогрессом VLA в области автономного вождения. Мы также консолидируем существующие наборы данных и бенчмарки, выделяя протоколы, которые совместно измеряют безопасность вождения, точность и качество объяснений. Наконец, мы подробно рассматриваем открытые проблемы — устойчивость, эффективность в реальном времени и формальную верификацию — и намечаем будущие направления развития VLA4AD. Этот обзор предоставляет краткое, но полное справочное руководство для продвижения интерпретируемых и социально ориентированных автономных транспортных средств. Репозиторий на Github доступен по адресу https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.