V2V-GoT: Condução Autônoma Cooperativa Veículo-a-Veículo com Modelos de Linguagem Multimodais de Grande Escala e Grafos de Pensamentos

V2V-GoT: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models and Graph-of-Thoughts

September 22, 2025

Autores: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Yu-Chiang Frank Wang, Min-Hung Chen, Stephen F. Smith

cs.AI

Resumo

Os veículos autônomos mais avançados atualmente podem enfrentar situações críticas de segurança quando seus sensores locais são ocluídos por grandes objetos próximos na estrada. A direção autônoma cooperativa veículo-a-veículo (V2V) foi proposta como uma solução para esse problema, e um framework recentemente introduzido para direção autônoma cooperativa adotou uma abordagem que incorpora um Modelo de Linguagem Multimodal de Grande Escala (MLLM) para integrar os processos de percepção e planejamento cooperativos. No entanto, apesar do benefício potencial de aplicar o raciocínio de grafo de pensamentos ao MLLM, essa ideia não foi considerada por pesquisas anteriores sobre direção autônoma cooperativa. Neste artigo, propomos um novo framework de grafo de pensamentos especificamente projetado para direção autônoma cooperativa baseada em MLLM. Nosso grafo de pensamentos inclui nossas novas ideias de percepção consciente da oclusão e previsão consciente do planejamento. Criamos o conjunto de dados V2V-GoT-QA e desenvolvemos o modelo V2V-GoT para treinar e testar o grafo de pensamentos de direção cooperativa. Nossos resultados experimentais mostram que nosso método supera outras abordagens de referência em tarefas de percepção, previsão e planejamento cooperativos.

English

Current state-of-the-art autonomous vehicles could face safety-critical situations when their local sensors are occluded by large nearby objects on the road. Vehicle-to-vehicle (V2V) cooperative autonomous driving has been proposed as a means of addressing this problem, and one recently introduced framework for cooperative autonomous driving has further adopted an approach that incorporates a Multimodal Large Language Model (MLLM) to integrate cooperative perception and planning processes. However, despite the potential benefit of applying graph-of-thoughts reasoning to the MLLM, this idea has not been considered by previous cooperative autonomous driving research. In this paper, we propose a novel graph-of-thoughts framework specifically designed for MLLM-based cooperative autonomous driving. Our graph-of-thoughts includes our proposed novel ideas of occlusion-aware perception and planning-aware prediction. We curate the V2V-GoT-QA dataset and develop the V2V-GoT model for training and testing the cooperative driving graph-of-thoughts. Our experimental results show that our method outperforms other baselines in cooperative perception, prediction, and planning tasks.