NaviDriveVLM: Entkopplung von High-Level-Reasoning und Bewegungsplanung für das autonome Fahren
NaviDriveVLM: Decoupling High-Level Reasoning and Motion Planning for Autonomous Driving
March 9, 2026
Autoren: Ximeng Tao, Pardis Taghavi, Dimitar Filev, Reza Langari, Gaurav Pandey
cs.AI
Zusammenfassung
Vision-Language Models (VLMs) haben sich als vielversprechender Ansatz für End-to-End autonomes Fahren (AD) erwiesen, indem sie visuelle Beobachtungen, Fahrkontext und sprachbasierte Entscheidungsfindung gemeinsam modellieren. Allerdings sehen sich bestehende VLM-basierte Systeme mit einem Zielkonflikt zwischen hochrangiger Entscheidungsfindung und Bewegungsplanung konfrontiert: Große Modelle bieten ein starkes semantisches Verständnis, sind jedoch kostspielig für eine präzise Steuerung anzupassen, während kleine VLM-Modelle effizient feinabgestimmt werden können, aber oft ein schwächeres Entscheidungsvermögen aufweisen. Wir schlagen NaviDriveVLM vor, ein entkoppeltes Framework, das die Entscheidungsfindung von der Aktionsgenerierung trennt, indem es einen großskaligen Navigator und einen leichtgewichtigen, trainierbaren Driver verwendet. Dieser Aufbau bewahrt die Entscheidungsfähigkeit, reduziert die Trainingskosten und bietet eine explizite, interpretierbare Zwischendarstellung für die nachgelagerte Planung. Experimente auf dem nuScenes-Benchmark zeigen, dass NaviDriveVLM große VLM-Baselines in der End-to-End-Bewegungsplanung übertrifft.
English
Vision-language models (VLMs) have emerged as a promising direction for end-to-end autonomous driving (AD) by jointly modeling visual observations, driving context, and language-based reasoning. However, existing VLM-based systems face a trade-off between high-level reasoning and motion planning: large models offer strong semantic understanding but are costly to adapt for precise control, whereas small VLM models can be fine-tuned efficiently but often exhibit weaker reasoning. We propose NaviDriveVLM, a decoupled framework that separates reasoning from action generation using a large-scale Navigator and a lightweight trainable Driver. This design preserves reasoning ability, reduces training cost, and provides an explicit interpretable intermediate representation for downstream planning. Experiments on the nuScenes benchmark show that NaviDriveVLM outperforms large VLM baselines in end-to-end motion planning.