Vega: Imparare a guidare con istruzioni in linguaggio naturale

Vega: Learning to Drive with Natural Language Instructions

March 26, 2026

Autori: Sicheng Zuo, Yuxuan Li, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu

cs.AI

Abstract

I modelli visione-linguaggio-azione hanno rivoluzionato la guida autonoma integrando il linguaggio nel processo decisionale. Tuttavia, la maggior parte delle pipeline esistenti utilizza la modalità linguistica solo per descrizioni della scena o ragionamenti, mancando della flessibilità necessaria per seguire istruzioni diversificate dell'utente per una guida personalizzata. Per affrontare questa limitazione, abbiamo inizialmente costruito un dataset su larga scala (InstructScene) contenente circa 100.000 scene annotate con istruzioni di guida diversificate e le relative traiettorie. Successivamente proponiamo Vega, un modello unificato Visione-Linguaggio-Mondo-Azione, per la generazione e pianificazione basata su istruzioni. Adottiamo il paradigma autoregressivo per elaborare gli input visivi (visione) e le istruzioni linguistiche (linguaggio), e il paradigma diffusion per generare previsioni future (modellazione del mondo) e traiettorie (azione). Implementiamo un'attenzione congiunta per abilitare le interazioni tra le modalità e utilizziamo strati di proiezione individuali per le diverse modalità per ottenere maggiori capacità. Esperimenti estensivi dimostrano che il nostro metodo non solo raggiunge prestazioni di pianificazione superiori, ma mostra anche forti capacità di seguire le istruzioni, aprendo la strada a sistemi di guida più intelligenti e personalizzati.

English

Vision-language-action models have reshaped autonomous driving to incorporate languages into the decision-making process. However, most existing pipelines only utilize the language modality for scene descriptions or reasoning and lack the flexibility to follow diverse user instructions for personalized driving. To address this, we first construct a large-scale driving dataset (InstructScene) containing around 100,000 scenes annotated with diverse driving instructions with the corresponding trajectories. We then propose a unified Vision-Language-World-Action model, Vega, for instruction-based generation and planning. We employ the autoregressive paradigm to process visual inputs (vision) and language instructions (language) and the diffusion paradigm to generate future predictions (world modeling) and trajectories (action). We perform joint attention to enable interactions between the modalities and use individual projection layers for different modalities for more capabilities. Extensive experiments demonstrate that our method not only achieves superior planning performance but also exhibits strong instruction-following abilities, paving the way for more intelligent and personalized driving systems.