CoLMDriver: LLM-onderhandeling bevordert samenwerkend autonoom rijden

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Auteurs: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Samenvatting

Voertuig-naar-voertuig (V2V) coöperatief autonoom rijden biedt veelbelovende mogelijkheden om de veiligheid te verbeteren door de onzekerheden in waarneming en voorspelling aan te pakken die inherent zijn aan single-agent systemen. Traditionele coöperatieve methoden worden echter beperkt door rigide samenwerkingsprotocollen en een beperkte generalisatie naar onbekende interactieve scenario's. Hoewel LLM-gebaseerde benaderingen gegeneraliseerde redeneervaardigheden bieden, vormen hun uitdagingen in ruimtelijke planning en onstabiele inferentielatentie een belemmering voor hun directe toepassing in coöperatief rijden. Om deze beperkingen aan te pakken, stellen we CoLMDriver voor, het eerste full-pipeline LLM-gebaseerde coöperatieve rijsysteem, dat effectieve op taal gebaseerde onderhandeling en real-time rijcontrole mogelijk maakt. CoLMDriver beschikt over een parallel rijpijplijn met twee belangrijke componenten: (i) een LLM-gebaseerd onderhandelingsmodule binnen een actor-critic paradigma, dat continu samenwerkingsbeleid verfijnt door feedback van eerdere beslissingen van alle voertuigen; en (ii) een intentiegestuurde waypoint-generator, die onderhandelingsresultaten vertaalt naar uitvoerbare waypoints. Daarnaast introduceren we InterDrive, een CARLA-gebaseerd simulatiebenchmark bestaande uit 10 uitdagende interactieve rijsenario's voor het evalueren van V2V-samenwerking. Experimentele resultaten tonen aan dat CoLMDriver bestaande benaderingen significant overtreft, met een 11% hoger slagingspercentage in diverse sterk interactieve V2V-rijsenario's. Code zal worden vrijgegeven op https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.