NaviDriveVLM: Ontkoppeling van Hoogwaardige Redenering en Bewegingsplanning voor Autonoom Rijden
NaviDriveVLM: Decoupling High-Level Reasoning and Motion Planning for Autonomous Driving
March 9, 2026
Auteurs: Ximeng Tao, Pardis Taghavi, Dimitar Filev, Reza Langari, Gaurav Pandey
cs.AI
Samenvatting
Vision-language models (VLMs) zijn naar voren gekomen als een veelbelovende richting voor end-to-end autonoom rijden (AD) door visuele observaties, rijcontext en op taal gebaseerd redeneren gezamenlijk te modelleren. Bestaande op VLM gebaseerde systemen kampen echter met een afweging tussen hoogwaardig redeneren en motion planning: grote modellen bieden sterk semantisch begrip maar zijn kostbaar aan te passen voor precieze controle, terwijl kleine VLM-modellen efficiënt gefinetuned kunnen worden maar vaak zwakker redeneren vertonen. Wij stellen NaviDriveVLM voor, een ontkoppeld framework dat redeneren scheidt van actiegeneratie met behulp van een grootschalige Navigator en een lichtgewicht, trainbare Driver. Dit ontwerp behoudt redeneervermogen, verlaagt de trainingskosten en biedt een expliciete, interpreteerbare tussenrepresentatie voor downstream planning. Experimenten op de nuScenes-benchmark tonen aan dat NaviDriveVLM grote VLM-baselines overtreft in end-to-end motion planning.
English
Vision-language models (VLMs) have emerged as a promising direction for end-to-end autonomous driving (AD) by jointly modeling visual observations, driving context, and language-based reasoning. However, existing VLM-based systems face a trade-off between high-level reasoning and motion planning: large models offer strong semantic understanding but are costly to adapt for precise control, whereas small VLM models can be fine-tuned efficiently but often exhibit weaker reasoning. We propose NaviDriveVLM, a decoupled framework that separates reasoning from action generation using a large-scale Navigator and a lightweight trainable Driver. This design preserves reasoning ability, reduces training cost, and provides an explicit interpretable intermediate representation for downstream planning. Experiments on the nuScenes benchmark show that NaviDriveVLM outperforms large VLM baselines in end-to-end motion planning.