CoLMDriver: 협력적 자율 주행을 위한 LLM 기반 협상 이점

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

저자: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

초록

차량 간 협력 자율 주행(V2V)은 단일 에이전트 시스템에 내재된 인지 및 예측 불확실성을 해결함으로써 안전성을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다. 그러나 기존의 협력 방법은 경직된 협력 프로토콜과 새로운 상호작용 시나리오에 대한 제한된 일반화 능력으로 인해 한계가 있습니다. 대규모 언어 모델(LLM) 기반 접근법은 일반화된 추론 능력을 제공하지만, 공간 계획의 어려움과 불안정한 추론 지연 시간으로 인해 협력 주행에 직접 적용하기에는 어려움이 있습니다. 이러한 한계를 해결하기 위해, 우리는 효과적인 언어 기반 협상과 실시간 주행 제어를 가능하게 하는 최초의 전체 파이프라인 LLM 기반 협력 주행 시스템인 CoLMDriver를 제안합니다. CoLMDriver는 두 가지 주요 구성 요소로 이루어진 병렬 주행 파이프라인을 특징으로 합니다: (i) 액터-크리틱 패러다임 하에서의 LLM 기반 협상 모듈로, 이는 모든 차량의 이전 결정에서 피드백을 통해 협력 정책을 지속적으로 개선합니다; (ii) 협상 결과를 실행 가능한 웨이포인트로 변환하는 의도 기반 웨이포인트 생성기입니다. 또한, 우리는 V2V 협력을 평가하기 위해 10가지 도전적인 상호작용 주행 시나리오로 구성된 CARLA 기반 시뮬레이션 벤치마크인 InterDrive를 소개합니다. 실험 결과는 CoLMDriver가 다양한 고도로 상호작용하는 V2V 주행 시나리오에서 기존 접근법을 크게 능가하며, 11% 더 높은 성공률을 달성함을 보여줍니다. 코드는 https://github.com/cxliu0314/CoLMDriver에서 공개될 예정입니다.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.