Модели «Зрение-Язык-Действие» для автономного вождения: прошлое, настоящее и будущее

Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future

December 18, 2025

Авторы: Tianshuai Hu, Xiaolu Liu, Song Wang, Yiyao Zhu, Ao Liang, Lingdong Kong, Guoyang Zhao, Zeying Gong, Jun Cen, Zhiyu Huang, Xiaoshuai Hao, Linfeng Li, Hang Song, Xiangtai Li, Jun Ma, Shaojie Shen, Jianke Zhu, Dacheng Tao, Ziwei Liu, Junwei Liang

cs.AI

Аннотация

Автономное вождение долгое время основывалось на модульных конвейерах «Восприятие-Решение-Действие», где созданные вручную интерфейсы и основанные на правилах компоненты часто дают сбой в сложных или редких сценариях. Их каскадная конструкция дополнительно распространяет ошибки восприятия, ухудшая последующее планирование и управление. Модели «Видение-Действие» (Vision-Action, VA) решают некоторые ограничения, изучая прямые соответствия от визуальных входных данных к действиям, но они остаются «чёрными ящиками», чувствительными к сдвигам распределения данных и лишены структурированного мышления или способностей следовать инструкциям. Недавний прогресс в области больших языковых моделей (Large Language Models, LLMs) и мультимодального обучения стимулировал появление фреймворков «Видение-Язык-Действие» (Vision-Language-Action, VLA), которые интегрируют восприятие с принятием решений, основанным на языке. Объединяя визуальное понимание, лингвистические рассуждения и исполнительные выходные данные, VLA открывают путь к более интерпретируемым, обобщаемым и согласованным с человеком политикам вождения. Данная работа предлагает структурированную характеристику формирующегося ландшафта VLA для автономного вождения. Мы прослеживаем эволюцию от ранних подходов VA к современным фреймворкам VLA и систематизируем существующие методы по двум основным парадигмам: сквозные VLA (End-to-End VLA), которые интегрируют восприятие, рассуждение и планирование в единой модели, и двухсистемные VLA (Dual-System VLA), которые разделяют медленное обдумывание (с помощью VLM) и быстрое, критичное к безопасности выполнение (с помощью планировщиков). В рамках этих парадигм мы далее выделяем подклассы, такие как текстовые и численные генераторы действий, а также механизмы явного и неявного управления. Мы также обобщаем репрезентативные наборы данных и бенчмарки для оценки систем вождения на основе VLA и выделяем ключевые проблемы и открытые направления, включая устойчивость, интерпретируемость и точность следования инструкциям. В целом, данная работа направлена на создание последовательной основы для продвижения систем автономного вождения, совместимых с человеком.

English

Autonomous driving has long relied on modular "Perception-Decision-Action" pipelines, where hand-crafted interfaces and rule-based components often break down in complex or long-tailed scenarios. Their cascaded design further propagates perception errors, degrading downstream planning and control. Vision-Action (VA) models address some limitations by learning direct mappings from visual inputs to actions, but they remain opaque, sensitive to distribution shifts, and lack structured reasoning or instruction-following capabilities. Recent progress in Large Language Models (LLMs) and multimodal learning has motivated the emergence of Vision-Language-Action (VLA) frameworks, which integrate perception with language-grounded decision making. By unifying visual understanding, linguistic reasoning, and actionable outputs, VLAs offer a pathway toward more interpretable, generalizable, and human-aligned driving policies. This work provides a structured characterization of the emerging VLA landscape for autonomous driving. We trace the evolution from early VA approaches to modern VLA frameworks and organize existing methods into two principal paradigms: End-to-End VLA, which integrates perception, reasoning, and planning within a single model, and Dual-System VLA, which separates slow deliberation (via VLMs) from fast, safety-critical execution (via planners). Within these paradigms, we further distinguish subclasses such as textual vs. numerical action generators and explicit vs. implicit guidance mechanisms. We also summarize representative datasets and benchmarks for evaluating VLA-based driving systems and highlight key challenges and open directions, including robustness, interpretability, and instruction fidelity. Overall, this work aims to establish a coherent foundation for advancing human-compatible autonomous driving systems.