CoLMDriver : Les avantages de la négociation basée sur les LLM pour la conduite autonome coopérative

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Auteurs: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Résumé

La conduite autonome coopérative véhicule-à-véhicule (V2V) offre un potentiel considérable pour améliorer la sécurité en traitant les incertitudes de perception et de prédiction inhérentes aux systèmes mono-agents. Cependant, les méthodes coopératives traditionnelles sont limitées par des protocoles de collaboration rigides et une généralisation insuffisante face à des scénarios interactifs inédits. Bien que les approches basées sur les modèles de langage (LLM) offrent des capacités de raisonnement généralisées, leurs difficultés en planification spatiale et leur latence d'inférence instable entravent leur application directe à la conduite coopérative. Pour surmonter ces limites, nous proposons CoLMDriver, le premier système de conduite coopérative basé sur LLM couvrant l'ensemble du pipeline, permettant une négociation efficace basée sur le langage et un contrôle de conduite en temps réel. CoLMDriver intègre un pipeline de conduite parallèle avec deux composants clés : (i) un module de négociation basé sur LLM sous un paradigme acteur-critique, qui affine continuellement les politiques de coopération grâce aux retours des décisions précédentes de tous les véhicules ; et (ii) un générateur de points de passage guidé par les intentions, qui traduit les résultats de la négociation en points de passage exécutables. De plus, nous présentons InterDrive, un benchmark de simulation basé sur CARLA comprenant 10 scénarios de conduite interactive complexes pour évaluer la coopération V2V. Les résultats expérimentaux montrent que CoLMDriver surpasse significativement les approches existantes, atteignant un taux de réussite 11 % plus élevé dans divers scénarios de conduite V2V hautement interactifs. Le code sera disponible sur https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.