NaviDriveVLM: Desacoplamiento del Razonamiento de Alto Nivel y la Planificación de Movimientos para la Conducción Autónoma
NaviDriveVLM: Decoupling High-Level Reasoning and Motion Planning for Autonomous Driving
March 9, 2026
Autores: Ximeng Tao, Pardis Taghavi, Dimitar Filev, Reza Langari, Gaurav Pandey
cs.AI
Resumen
Los modelos de visión y lenguaje (VLM) han surgido como una dirección prometedora para la conducción autónoma de extremo a extremo al modelar conjuntamente observaciones visuales, contexto de conducción y razonamiento basado en lenguaje. Sin embargo, los sistemas existentes basados en VLM enfrentan una disyuntiva entre el razonamiento de alto nivel y la planificación de movimiento: los modelos grandes ofrecen una comprensión semántica sólida pero son costosos de adaptar para un control preciso, mientras que los modelos VLM pequeños pueden ajustarse eficientemente pero a menudo exhiben un razonamiento más débil. Proponemos NaviDriveVLM, un marco desacoplado que separa el razonamiento de la generación de acciones utilizando un Navegador a gran escala y un Controlador ligero entrenable. Este diseño preserva la capacidad de razonamiento, reduce el costo de entrenamiento y proporciona una representación intermedia explícita e interpretable para la planificación posterior. Los experimentos en el benchmark nuScenes demuestran que NaviDriveVLM supera a los grandes modelos VLM de referencia en la planificación de movimiento de extremo a extremo.
English
Vision-language models (VLMs) have emerged as a promising direction for end-to-end autonomous driving (AD) by jointly modeling visual observations, driving context, and language-based reasoning. However, existing VLM-based systems face a trade-off between high-level reasoning and motion planning: large models offer strong semantic understanding but are costly to adapt for precise control, whereas small VLM models can be fine-tuned efficiently but often exhibit weaker reasoning. We propose NaviDriveVLM, a decoupled framework that separates reasoning from action generation using a large-scale Navigator and a lightweight trainable Driver. This design preserves reasoning ability, reduces training cost, and provides an explicit interpretable intermediate representation for downstream planning. Experiments on the nuScenes benchmark show that NaviDriveVLM outperforms large VLM baselines in end-to-end motion planning.