StyleVLA: Modelo de Acción de Lenguaje Visual Consciente del Estilo de Conducción para la Conducción Autónoma

StyleVLA: Driving Style-Aware Vision Language Action Model for Autonomous Driving

March 10, 2026

Autores: Yuan Gao, Dengyuan Hua, Mattia Piccinini, Finn Rasmus Schäfer, Korbinian Moller, Lin Li, Johannes Betz

cs.AI

Resumen

Los Modelos de Lenguaje Visual (VLM) constituyen un puente entre la percepción visual y el razonamiento lingüístico. En la Conducción Autónoma (CA), esta sinergia ha permitido el desarrollo de modelos de Visión, Lenguaje y Acción (VLA), que traducen la comprensión multimodal de alto nivel en comportamientos de conducción, típicamente representados como trayectorias futuras. Sin embargo, los modelos VLA existentes generan principalmente trayectorias genéricas libres de colisiones. Más allá de la evitación de colisiones, la adaptación a diversos estilos de conducción (por ejemplo, deportivo, confortable) es esencial para una conducción personalizada. Además, muchos métodos tratan la generación de trayectorias como una predicción ingenua de tokens, lo que puede producir acciones cinemáticamente inviables. Para abordar estas limitaciones, presentamos StyleVLA, un marco VLA informado por la física para generar comportamientos de conducción diversos y físicamente plausibles. Introducimos una pérdida híbrida que combina una restricción de consistencia cinemática con una cabeza de regresión continua para mejorar la viabilidad de la trayectoria. Para entrenar StyleVLA, construido sobre Qwen3-VL-4B, hemos creado un conjunto de datos de instrucciones a gran escala con más de 1.200 escenarios, 76.000 muestras en Vista de Ojo de Pájaro (BEV) y 42.000 muestras en Vista en Primera Persona (FPV), con trayectorias de referencia para cinco estilos de conducción e instrucciones en lenguaje natural. Los experimentos demuestran que nuestro StyleVLA de 4B parámetros supera significativamente a modelos propietarios (por ejemplo, Gemini-3-Pro) y a los modelos VLA más avanzados. Utilizando una puntuación compuesta de conducción que mide la tasa de éxito, la viabilidad física y la adherencia al estilo, StyleVLA logra 0.55 en BEV y 0.51 en FPV, frente a 0.32 y 0.35 de Gemini-3-Pro. Estos resultados muestran que un modelo especializado, informado por la física y ligero puede superar a modelos de código cerrado en tareas específicas de un dominio.

English

Vision Language Models (VLMs) bridge visual perception and linguistic reasoning. In Autonomous Driving (AD), this synergy has enabled Vision Language Action (VLA) models, which translate high-level multimodal understanding into driving behaviors, typically represented as future trajectories. However, existing VLA models mainly generate generic collision-free trajectories. Beyond collision avoidance, adapting to diverse driving styles (e.g., sporty, comfortable) is essential for personalized driving. Moreover, many methods treat trajectory generation as naive token prediction, which can produce kinematically infeasible actions. To address these limitations, we present StyleVLA, a physics-informed VLA framework for generating diverse and physically plausible driving behaviors. We introduce a hybrid loss that combines a kinematic consistency constraint with a continuous regression head to improve trajectory feasibility. To train StyleVLA, built on Qwen3-VL-4B, we construct a large-scale instruction dataset with over 1.2k scenarios, 76k Bird's Eye View (BEV) samples, and 42k First Person View (FPV) samples, with ground-truth trajectories for five driving styles and natural-language instructions. Experiments show that our 4B-parameter StyleVLA significantly outperforms proprietary models (e.g., Gemini-3-Pro) and state-of-the-art VLA models. Using a composite driving score measuring success rate, physical feasibility, and style adherence, StyleVLA achieves 0.55 on BEV and 0.51 on FPV, versus 0.32 and 0.35 for Gemini-3-Pro. These results show that a specialized, physics-informed, lightweight model can surpass closed-source models on domain-specific tasks.