CoLMDriver: Преимущества переговоров на основе LLM для кооперативного автономного вождения

CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving

March 11, 2025

Авторы: Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen

cs.AI

Аннотация

Кооперативное автономное вождение между транспортными средствами (V2V) обладает большим потенциалом для повышения безопасности, устраняя неопределенности восприятия и прогнозирования, присущие системам с одним агентом. Однако традиционные методы кооперации ограничены жесткими протоколами взаимодействия и ограниченной обобщаемостью на неизвестные сценарии взаимодействия. Хотя подходы на основе языковых моделей (LLM) предлагают обобщенные возможности рассуждений, их сложности в пространственном планировании и нестабильная задержка вывода препятствуют их прямому применению в кооперативном вождении. Для устранения этих ограничений мы предлагаем CoLMDriver, первую полномасштабную систему кооперативного вождения на основе LLM, обеспечивающую эффективные переговоры на основе языка и управление вождением в реальном времени. CoLMDriver включает параллельный конвейер вождения с двумя ключевыми компонентами: (i) модуль переговоров на основе LLM в рамках парадигмы "актор-критик", который непрерывно уточняет политики кооперации на основе обратной связи от предыдущих решений всех транспортных средств; и (ii) генератор путевых точек, управляемый намерениями, который преобразует результаты переговоров в исполняемые путевые точки. Кроме того, мы представляем InterDrive, симуляционный бенчмарк на основе CARLA, включающий 10 сложных сценариев интерактивного вождения для оценки кооперации V2V. Экспериментальные результаты показывают, что CoLMDriver значительно превосходит существующие подходы, достигая на 11% более высокой частоты успешного завершения в различных высокоинтерактивных сценариях вождения V2V. Код будет доступен на https://github.com/cxliu0314/CoLMDriver.

English

Vehicle-to-vehicle (V2V) cooperative autonomous driving holds great promise for improving safety by addressing the perception and prediction uncertainties inherent in single-agent systems. However, traditional cooperative methods are constrained by rigid collaboration protocols and limited generalization to unseen interactive scenarios. While LLM-based approaches offer generalized reasoning capabilities, their challenges in spatial planning and unstable inference latency hinder their direct application in cooperative driving. To address these limitations, we propose CoLMDriver, the first full-pipeline LLM-based cooperative driving system, enabling effective language-based negotiation and real-time driving control. CoLMDriver features a parallel driving pipeline with two key components: (i) an LLM-based negotiation module under an actor-critic paradigm, which continuously refines cooperation policies through feedback from previous decisions of all vehicles; and (ii) an intention-guided waypoint generator, which translates negotiation outcomes into executable waypoints. Additionally, we introduce InterDrive, a CARLA-based simulation benchmark comprising 10 challenging interactive driving scenarios for evaluating V2V cooperation. Experimental results demonstrate that CoLMDriver significantly outperforms existing approaches, achieving an 11% higher success rate across diverse highly interactive V2V driving scenarios. Code will be released on https://github.com/cxliu0314/CoLMDriver.