StyleVLA: Fahrstil-bewusstes Vision-Language-Action-Modell für autonomes Fahren
StyleVLA: Driving Style-Aware Vision Language Action Model for Autonomous Driving
March 10, 2026
Autoren: Yuan Gao, Dengyuan Hua, Mattia Piccinini, Finn Rasmus Schäfer, Korbinian Moller, Lin Li, Johannes Betz
cs.AI
Zusammenfassung
Vision-Language-Models (VLMs) verbinden visuelle Wahrnehmung mit sprachlichem Denken. Im Bereich des Autonomen Fahrens (AD) hat diese Synergie Vision-Language-Action (VLA)-Modelle ermöglicht, die hochgradiges multimodales Verständnis in Fahrverhalten übersetzen, typischerweise dargestellt als zukünftige Trajektorien. Bislang erzeugen bestehende VLA-Modelle jedoch hauptsächlich generische, kollisionsfreie Trajektorien. Über Kollisionsvermeidung hinaus ist die Anpassung an verschiedene Fahrstile (z. B. sportlich, komfortabel) für personalisiertes Fahren entscheidend. Zudem behandeln viele Methoden die Trajektoriengenerierung als naive Token-Vorhersage, was kinematisch nicht umsetzbare Aktionen erzeugen kann. Um diese Einschränkungen zu adressieren, stellen wir StyleVLA vor, ein physikinformiertes VLA-Framework zur Erzeugung diverser und physikalisch plausibler Fahrverhalten. Wir führen einen hybriden Loss ein, der eine kinematische Konsistenzbedingung mit einem kontinuierlichen Regressions-Head kombiniert, um die Trajektorienrealisierbarkeit zu verbessern. Für das Training von StyleVLA, basierend auf Qwen3-VL-4B, erstellten wir einen großangelegten Instruktionsdatensatz mit über 1.200 Szenarien, 76.000 Bird's-Eye-View (BEV)- und 42.000 First-Person-View (FPV)-Stichproben, einschließlich Ground-Truth-Trajektorien für fünf Fahrstile und natürlichsprachlicher Anweisungen. Experimente zeigen, dass unser 4B-Parameter-modell StyleVLA proprietäre Modelle (z. B. Gemini-3-Pro) und state-of-the-art VLA-Modelle signifikant übertrifft. Gemessen an einem zusammengesetzten Fahr-Score, der Erfolgsrate, physikalische Realisierbarkeit und Stiltreue bewertet, erzielt StyleVLA 0,55 für BEV und 0,51 für FPV, verglichen mit 0,32 bzw. 0,35 für Gemini-3-Pro. Diese Ergebnisse zeigen, dass ein spezialisiertes, physikinformiertes, leichtgewichtiges Modell Closed-Source-Modelle bei domänenspezifischen Aufgaben übertreffen kann.
English
Vision Language Models (VLMs) bridge visual perception and linguistic reasoning. In Autonomous Driving (AD), this synergy has enabled Vision Language Action (VLA) models, which translate high-level multimodal understanding into driving behaviors, typically represented as future trajectories. However, existing VLA models mainly generate generic collision-free trajectories. Beyond collision avoidance, adapting to diverse driving styles (e.g., sporty, comfortable) is essential for personalized driving. Moreover, many methods treat trajectory generation as naive token prediction, which can produce kinematically infeasible actions. To address these limitations, we present StyleVLA, a physics-informed VLA framework for generating diverse and physically plausible driving behaviors. We introduce a hybrid loss that combines a kinematic consistency constraint with a continuous regression head to improve trajectory feasibility. To train StyleVLA, built on Qwen3-VL-4B, we construct a large-scale instruction dataset with over 1.2k scenarios, 76k Bird's Eye View (BEV) samples, and 42k First Person View (FPV) samples, with ground-truth trajectories for five driving styles and natural-language instructions. Experiments show that our 4B-parameter StyleVLA significantly outperforms proprietary models (e.g., Gemini-3-Pro) and state-of-the-art VLA models. Using a composite driving score measuring success rate, physical feasibility, and style adherence, StyleVLA achieves 0.55 on BEV and 0.51 on FPV, versus 0.32 and 0.35 for Gemini-3-Pro. These results show that a specialized, physics-informed, lightweight model can surpass closed-source models on domain-specific tasks.