CoLMDriver: Negociación basada en LLM para Beneficiar la Conducción Autónoma Cooperativa

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Autores: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Resumen

La conducción autónoma cooperativa entre vehículos (V2V) tiene un gran potencial para mejorar la seguridad al abordar las incertidumbres de percepción y predicción inherentes a los sistemas de un solo agente. Sin embargo, los métodos cooperativos tradicionales están limitados por protocolos de colaboración rígidos y una generalización limitada a escenarios interactivos no vistos. Si bien los enfoques basados en LLM (Modelos de Lenguaje de Gran Escala) ofrecen capacidades de razonamiento generalizado, sus desafíos en la planificación espacial y la latencia de inferencia inestable dificultan su aplicación directa en la conducción cooperativa. Para abordar estas limitaciones, proponemos CoLMDriver, el primer sistema de conducción cooperativa basado en LLM de tubería completa, que permite una negociación efectiva basada en lenguaje y un control de conducción en tiempo real. CoLMDriver cuenta con una tubería de conducción paralela con dos componentes clave: (i) un módulo de negociación basado en LLM bajo un paradigma actor-crítico, que refina continuamente las políticas de cooperación a través de la retroalimentación de decisiones previas de todos los vehículos; y (ii) un generador de puntos de referencia guiado por intenciones, que traduce los resultados de la negociación en puntos de referencia ejecutables. Además, presentamos InterDrive, un punto de referencia de simulación basado en CARLA que comprende 10 escenarios de conducción interactiva desafiantes para evaluar la cooperación V2V. Los resultados experimentales demuestran que CoLMDriver supera significativamente a los enfoques existentes, logrando una tasa de éxito un 11% mayor en diversos escenarios de conducción V2V altamente interactivos. El código se publicará en https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.