NaviDriveVLM : Découplage du raisonnement de haut niveau et de la planification du mouvement pour la conduite autonome
NaviDriveVLM: Decoupling High-Level Reasoning and Motion Planning for Autonomous Driving
March 9, 2026
Auteurs: Ximeng Tao, Pardis Taghavi, Dimitar Filev, Reza Langari, Gaurav Pandey
cs.AI
Résumé
Les modèles vision-langage (VLM) sont apparus comme une orientation prometteuse pour la conduite autonome de bout en bout en modélisant conjointement les observations visuelles, le contexte de conduite et le raisonnement basé sur le langage. Cependant, les systèmes existants basés sur les VLM sont confrontés à un compromis entre le raisonnement de haut niveau et la planification du mouvement : les grands modèles offrent une forte compréhension sémantique mais sont coûteux à adapter pour un contrôle précis, tandis que les petits modèles VLM peuvent être affinés efficacement mais présentent souvent un raisonnement plus faible. Nous proposons NaviDriveVLM, un cadre découplé qui sépare le raisonnement de la génération d'actions en utilisant un Navigateur à grande échelle et un Conducteur léger et entraînable. Cette conception préserve la capacité de raisonnement, réduit le coût d'entraînement et fournit une représentation intermédiaire explicite et interprétable pour la planification en aval. Les expériences sur le benchmark nuScenes montrent que NaviDriveVLM surpasse les grandes bases de référence VLM en planification de mouvement de bout en bout.
English
Vision-language models (VLMs) have emerged as a promising direction for end-to-end autonomous driving (AD) by jointly modeling visual observations, driving context, and language-based reasoning. However, existing VLM-based systems face a trade-off between high-level reasoning and motion planning: large models offer strong semantic understanding but are costly to adapt for precise control, whereas small VLM models can be fine-tuned efficiently but often exhibit weaker reasoning. We propose NaviDriveVLM, a decoupled framework that separates reasoning from action generation using a large-scale Navigator and a lightweight trainable Driver. This design preserves reasoning ability, reduces training cost, and provides an explicit interpretable intermediate representation for downstream planning. Experiments on the nuScenes benchmark show that NaviDriveVLM outperforms large VLM baselines in end-to-end motion planning.