CoLMDriver: Benefícios da Negociação Baseada em LLM para a Condução Autônoma Cooperativa

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Autores: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Resumo

A condução autónoma cooperativa veículo-a-veículo (V2V) apresenta um grande potencial para melhorar a segurança, ao abordar as incertezas de perceção e previsão inerentes aos sistemas de agente único. No entanto, os métodos cooperativos tradicionais são limitados por protocolos de colaboração rígidos e uma generalização limitada para cenários interativos não vistos. Embora as abordagens baseadas em LLM (Large Language Models) ofereçam capacidades de raciocínio generalizado, os seus desafios no planeamento espacial e a latência de inferência instável impedem a sua aplicação direta na condução cooperativa. Para superar estas limitações, propomos o CoLMDriver, o primeiro sistema de condução cooperativa baseado em LLM de pipeline completo, permitindo uma negociação eficaz baseada em linguagem e controlo de condução em tempo real. O CoLMDriver apresenta um pipeline de condução paralelo com dois componentes principais: (i) um módulo de negociação baseado em LLM sob um paradigma actor-critic, que refina continuamente as políticas de cooperação através do feedback das decisões anteriores de todos os veículos; e (ii) um gerador de waypoints guiado por intenções, que traduz os resultados da negociação em waypoints executáveis. Adicionalmente, introduzimos o InterDrive, um benchmark de simulação baseado no CARLA, composto por 10 cenários de condução interativa desafiadores para avaliar a cooperação V2V. Os resultados experimentais demonstram que o CoLMDriver supera significativamente as abordagens existentes, alcançando uma taxa de sucesso 11% superior em diversos cenários de condução V2V altamente interativos. O código será disponibilizado em https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.