StyleVLA: Модель «Видение-Язык-Действие» с учетом стиля вождения для автономного управления

StyleVLA: Driving Style-Aware Vision Language Action Model for Autonomous Driving

March 10, 2026

Авторы: Yuan Gao, Dengyuan Hua, Mattia Piccinini, Finn Rasmus Schäfer, Korbinian Moller, Lin Li, Johannes Betz

cs.AI

Аннотация

Модели "язык-зрение" (Vision Language Models, VLM) объединяют визуальное восприятие и лингвистические рассуждения. В области автономного вождения (Autonomous Driving, AD) эта синергия позволила создать модели "язык-зрение-действие" (Vision Language Action, VLA), которые преобразуют высокоуровневое мультимодальное понимание в поведение при вождении, обычно представленное в виде будущих траекторий. Однако существующие модели VLA в основном генерируют общие траектории, свободные от столкновений. Помимо избегания столкновений, адаптация к различным стилям вождения (например, спортивному, комфортному) необходима для персонализированного вождения. Более того, многие методы рассматривают генерацию траекторий как наивное предсказание токенов, что может приводить к кинематически невыполнимым действиям. Для решения этих проблем мы представляем StyleVLA — физически обоснованную VLA-структуру для генерации разнообразного и физически правдоподобного поведения при вождении. Мы вводим гибридную функцию потерь, которая сочетает ограничение кинематической согласованности с непрерывной регрессионной головкой для повышения реализуемости траекторий. Для обучения StyleVLA, построенной на основе Qwen3-VL-4B, мы создали масштабный набор данных инструкций, содержащий более 1,2 тыс. сценариев, 76 тыс. образов с вида сверху (Bird's Eye View, BEV) и 42 тыс. образов от первого лица (First Person View, FPV), с эталонными траекториями для пяти стилей вождения и инструкциями на естественном языке. Эксперименты показывают, что наша StyleVLA с 4 миллиардами параметров значительно превосходит проприетарные модели (например, Gemini-3-Pro) и передовые модели VLA. Используя составной показатель вождения, измеряющий процент успеха, физическую реализуемость и соответствие стилю, StyleVLA достигает 0,55 для BEV и 0,51 для FPV, по сравнению с 0,32 и 0,35 у Gemini-3-Pro. Эти результаты демонстрируют, что специализированная, физически обоснованная и легковесная модель может превзойти закрытые модели в предметно-ориентированных задачах.

English

Vision Language Models (VLMs) bridge visual perception and linguistic reasoning. In Autonomous Driving (AD), this synergy has enabled Vision Language Action (VLA) models, which translate high-level multimodal understanding into driving behaviors, typically represented as future trajectories. However, existing VLA models mainly generate generic collision-free trajectories. Beyond collision avoidance, adapting to diverse driving styles (e.g., sporty, comfortable) is essential for personalized driving. Moreover, many methods treat trajectory generation as naive token prediction, which can produce kinematically infeasible actions. To address these limitations, we present StyleVLA, a physics-informed VLA framework for generating diverse and physically plausible driving behaviors. We introduce a hybrid loss that combines a kinematic consistency constraint with a continuous regression head to improve trajectory feasibility. To train StyleVLA, built on Qwen3-VL-4B, we construct a large-scale instruction dataset with over 1.2k scenarios, 76k Bird's Eye View (BEV) samples, and 42k First Person View (FPV) samples, with ground-truth trajectories for five driving styles and natural-language instructions. Experiments show that our 4B-parameter StyleVLA significantly outperforms proprietary models (e.g., Gemini-3-Pro) and state-of-the-art VLA models. Using a composite driving score measuring success rate, physical feasibility, and style adherence, StyleVLA achieves 0.55 on BEV and 0.51 on FPV, versus 0.32 and 0.35 for Gemini-3-Pro. These results show that a specialized, physics-informed, lightweight model can surpass closed-source models on domain-specific tasks.