V2V-GoT: Voertuig-naar-Voertuig Samenwerkend Autonoom Rijden met Multimodale Grote Taalmodellen en Grafiek-van-Gedachten

V2V-GoT: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models and Graph-of-Thoughts

September 22, 2025

Auteurs: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Yu-Chiang Frank Wang, Min-Hung Chen, Stephen F. Smith

cs.AI

Samenvatting

De huidige state-of-the-art autonome voertuigen kunnen te maken krijgen met veiligheidskritieke situaties wanneer hun lokale sensoren worden geblokkeerd door grote nabijgelegen objecten op de weg. Vehicle-to-vehicle (V2V) coöperatief autonoom rijden is voorgesteld als een manier om dit probleem aan te pakken, en een recent geïntroduceerd framework voor coöperatief autonoom rijden heeft bovendien een benadering geadopteerd die een Multimodaal Large Language Model (MLLM) integreert om de coöperatieve perceptie- en planningsprocessen te combineren. Ondanks het potentiële voordeel van het toepassen van graph-of-thoughts redenering op het MLLM, is dit idee nog niet overwogen in eerder onderzoek naar coöperatief autonoom rijden. In dit paper stellen we een nieuw graph-of-thoughts framework voor, specifiek ontworpen voor MLLM-gebaseerd coöperatief autonoom rijden. Onze graph-of-thoughts omvat onze voorgestelde nieuwe ideeën van occlusiebewuste perceptie en planningbewuste voorspelling. We hebben de V2V-GoT-QA dataset samengesteld en het V2V-GoT model ontwikkeld voor het trainen en testen van de coöperatieve rij-graph-of-thoughts. Onze experimentele resultaten laten zien dat onze methode andere baselines overtreft in coöperatieve perceptie-, voorspellings- en plannings taken.

English

Current state-of-the-art autonomous vehicles could face safety-critical situations when their local sensors are occluded by large nearby objects on the road. Vehicle-to-vehicle (V2V) cooperative autonomous driving has been proposed as a means of addressing this problem, and one recently introduced framework for cooperative autonomous driving has further adopted an approach that incorporates a Multimodal Large Language Model (MLLM) to integrate cooperative perception and planning processes. However, despite the potential benefit of applying graph-of-thoughts reasoning to the MLLM, this idea has not been considered by previous cooperative autonomous driving research. In this paper, we propose a novel graph-of-thoughts framework specifically designed for MLLM-based cooperative autonomous driving. Our graph-of-thoughts includes our proposed novel ideas of occlusion-aware perception and planning-aware prediction. We curate the V2V-GoT-QA dataset and develop the V2V-GoT model for training and testing the cooperative driving graph-of-thoughts. Our experimental results show that our method outperforms other baselines in cooperative perception, prediction, and planning tasks.