CoLMDriver: La negoziazione basata su LLM favorisce la guida autonoma cooperativa

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Autori: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Abstract

La guida autonoma cooperativa veicolo-veicolo (V2V) promette notevoli miglioramenti in termini di sicurezza, affrontando le incertezze di percezione e previsione intrinseche nei sistemi a singolo agente. Tuttavia, i metodi cooperativi tradizionali sono limitati da protocolli di collaborazione rigidi e da una generalizzazione limitata a scenari interattivi non visti. Sebbene gli approcci basati su LLM offrano capacità di ragionamento generalizzato, le loro difficoltà nella pianificazione spaziale e la latenza di inferenza instabile ne ostacolano l'applicazione diretta nella guida cooperativa. Per superare queste limitazioni, proponiamo CoLMDriver, il primo sistema di guida cooperativa basato su LLM a pipeline completa, che consente una negoziazione efficace basata sul linguaggio e un controllo di guida in tempo reale. CoLMDriver presenta una pipeline di guida parallela con due componenti chiave: (i) un modulo di negoziazione basato su LLM in un paradigma attore-critico, che perfeziona continuamente le politiche di cooperazione attraverso il feedback delle decisioni precedenti di tutti i veicoli; e (ii) un generatore di waypoint guidato dall'intenzione, che traduce i risultati della negoziazione in waypoint eseguibili. Inoltre, introduciamo InterDrive, un benchmark di simulazione basato su CARLA che comprende 10 scenari di guida interattivi impegnativi per valutare la cooperazione V2V. I risultati sperimentali dimostrano che CoLMDriver supera significativamente gli approcci esistenti, raggiungendo un tasso di successo dell'11% superiore in vari scenari di guida V2V altamente interattivi. Il codice sarà rilasciato su https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.