V2V-GoT: Conducción Autónoma Cooperativa entre Vehículos con Modelos de Lenguaje Multimodales de Gran Escala y Gráficos de Pensamiento

V2V-GoT: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models and Graph-of-Thoughts

September 22, 2025

Autores: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Yu-Chiang Frank Wang, Min-Hung Chen, Stephen F. Smith

cs.AI

Resumen

Los vehículos autónomos más avanzados actualmente podrían enfrentar situaciones críticas de seguridad cuando sus sensores locales se ven obstruidos por objetos grandes cercanos en la carretera. La conducción autónoma cooperativa entre vehículos (V2V) se ha propuesto como una solución a este problema, y un marco recientemente introducido para la conducción autónoma cooperativa ha adoptado un enfoque que incorpora un Modelo de Lenguaje Multimodal de Gran Escala (MLLM) para integrar los procesos de percepción y planificación cooperativos. Sin embargo, a pesar del beneficio potencial de aplicar el razonamiento basado en grafos de pensamientos al MLLM, esta idea no ha sido considerada por investigaciones previas sobre conducción autónoma cooperativa. En este artículo, proponemos un marco novedoso de grafos de pensamientos específicamente diseñado para la conducción autónoma cooperativa basada en MLLM. Nuestro grafo de pensamientos incluye nuestras ideas novedosas de percepción consciente de la oclusión y predicción consciente de la planificación. Creamos el conjunto de datos V2V-GoT-QA y desarrollamos el modelo V2V-GoT para entrenar y probar el grafo de pensamientos de conducción cooperativa. Nuestros resultados experimentales muestran que nuestro método supera a otras líneas base en tareas de percepción, predicción y planificación cooperativas.

English

Current state-of-the-art autonomous vehicles could face safety-critical situations when their local sensors are occluded by large nearby objects on the road. Vehicle-to-vehicle (V2V) cooperative autonomous driving has been proposed as a means of addressing this problem, and one recently introduced framework for cooperative autonomous driving has further adopted an approach that incorporates a Multimodal Large Language Model (MLLM) to integrate cooperative perception and planning processes. However, despite the potential benefit of applying graph-of-thoughts reasoning to the MLLM, this idea has not been considered by previous cooperative autonomous driving research. In this paper, we propose a novel graph-of-thoughts framework specifically designed for MLLM-based cooperative autonomous driving. Our graph-of-thoughts includes our proposed novel ideas of occlusion-aware perception and planning-aware prediction. We curate the V2V-GoT-QA dataset and develop the V2V-GoT model for training and testing the cooperative driving graph-of-thoughts. Our experimental results show that our method outperforms other baselines in cooperative perception, prediction, and planning tasks.