자율주행을 위한 시각-언어-행동 모델에 관한 연구 동향

A Survey on Vision-Language-Action Models for Autonomous Driving

June 30, 2025

저자: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

cs.AI

초록

다중모드 대형 언어 모델(MLLM)의 급속한 발전은 시각 인지, 자연어 이해, 제어를 단일 정책 내에 통합하는 Vision-Language-Action(VLA) 패러다임의 길을 열었습니다. 자율주행 분야의 연구자들은 이러한 방법들을 차량 도메인에 적극적으로 적용하고 있습니다. 이러한 모델들은 고차원의 명령을 해석하고, 복잡한 교통 상황에 대해 추론하며, 스스로 결정을 내릴 수 있는 자율주행 차량을 가능하게 할 것으로 기대됩니다. 그러나 관련 문헌은 여전히 단편적이며 빠르게 확장되고 있습니다. 본 조사 논문은 자율주행을 위한 VLA(VLA4AD)에 대한 첫 번째 포괄적인 개요를 제공합니다. 우리는 (i) 최근 연구에서 공유되는 아키텍처 구성 요소를 공식화하고, (ii) 초기 설명자 모델에서 추론 중심 VLA 모델로의 진화를 추적하며, (iii) 자율주행 도메인에서 VLA의 진전에 따라 20개 이상의 대표적인 모델을 비교합니다. 또한 기존 데이터셋과 벤치마크를 통합하여 운전 안전성, 정확성, 설명 품질을 동시에 측정하는 프로토콜을 강조합니다. 마지막으로, VLA4AD의 개방형 과제인 견고성, 실시간 효율성, 형식적 검증을 상세히 설명하고 미래 방향을 제시합니다. 본 조사 논문은 해석 가능하고 사회적으로 조화된 자율주행 차량을 발전시키기 위한 간결하면서도 완전한 참고 자료를 제공합니다. Github 저장소는 https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}에서 확인할 수 있습니다.

English

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at https://github.com/JohnsonJiang1996/Awesome-VLA4AD{SicongJiang/Awesome-VLA4AD}.