Vega: Leren rijden met natuurlijke taalinstructies

Samenvatting

Vision-language-action-modellen hebben autonoom rijden getransformeerd door taal te integreren in het besluitvormingsproces. De meeste bestaande systemen gebruiken het taalmodaal echter alleen voor scènesbeschrijvingen of redenering en missen de flexibiliteit om diverse gebruikersinstructies voor gepersonaliseerd rijden op te volgen. Om dit aan te pakken, construeren we eerst een grootschalige rijdataset (InstructScene) met ongeveer 100.000 scènes, geannoteerd met diverse rij-instructies en bijbehorende trajecten. Vervolgens presenteren we een verenigd Vision-Language-World-Action-model, Vega, voor op instructies gebaseerde generatie en planning. We gebruiken het autoregressieve paradigma om visuele invoer (vision) en taal-instructies (language) te verwerken, en het diffusieparadigma om toekomstvoorspellingen (wereldmodellering) en trajecten (actie) te genereren. We voeren gezamenlijke aandacht (joint attention) uit om interacties tussen de modaliteiten mogelijk te maken en gebruiken individuele projectielagen voor verschillende modaliteiten voor meer capaciteiten. Uitgebreide experimenten tonen aan dat onze methode niet alleen superieure planningsprestaties bereikt, maar ook sterke instructie-volgcapaciteiten vertoont, wat de weg effent voor intelligente en gepersonaliseerde rijsystemen.

English

Vision-language-action models have reshaped autonomous driving to incorporate languages into the decision-making process. However, most existing pipelines only utilize the language modality for scene descriptions or reasoning and lack the flexibility to follow diverse user instructions for personalized driving. To address this, we first construct a large-scale driving dataset (InstructScene) containing around 100,000 scenes annotated with diverse driving instructions with the corresponding trajectories. We then propose a unified Vision-Language-World-Action model, Vega, for instruction-based generation and planning. We employ the autoregressive paradigm to process visual inputs (vision) and language instructions (language) and the diffusion paradigm to generate future predictions (world modeling) and trajectories (action). We perform joint attention to enable interactions between the modalities and use individual projection layers for different modalities for more capabilities. Extensive experiments demonstrate that our method not only achieves superior planning performance but also exhibits strong instruction-following abilities, paving the way for more intelligent and personalized driving systems.