CoLMDriver: LLMベースの交渉による協調型自動運転の利点

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

著者: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

要旨

車両間（V2V）協調型自動運転は、単一エージェントシステムに内在する知覚と予測の不確実性に対処することで、安全性の向上に大きな可能性を秘めています。しかし、従来の協調手法は、硬直的な協力プロトコルや未経験の相互作用シナリオへの汎化能力の限界に制約されています。一方、LLM（大規模言語モデル）ベースのアプローチは汎用的な推論能力を提供しますが、空間計画における課題や不安定な推論遅延が、協調運転への直接的な適用を妨げています。これらの制約を克服するため、我々はCoLMDriverを提案します。これは、効果的な言語ベースの交渉とリアルタイム運転制御を可能にする、初のフルパイプラインLLMベース協調運転システムです。CoLMDriverは、2つの主要コンポーネントを備えた並列運転パイプラインを特徴とします：(i) アクター・クリティックパラダイムに基づくLLMベースの交渉モジュール。これは、全ての車両の過去の決定からのフィードバックを通じて協調ポリシーを継続的に洗練します。(ii) 意図誘導型ウェイポイントジェネレータ。これは、交渉結果を実行可能なウェイポイントに変換します。さらに、我々はInterDriveを紹介します。これは、V2V協調を評価するための10の挑戦的な相互作用運転シナリオを含む、CARLAベースのシミュレーションベンチマークです。実験結果は、CoLMDriverが既存のアプローチを大幅に上回り、多様な高度に相互作用するV2V運転シナリオ全体で11%高い成功率を達成することを示しています。コードはhttps://github.com/cxliu0314/CoLMDriverで公開されます。

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.