V2V-GoT : Conduite autonome coopérative véhicule-à-véhicule avec des modèles de langage multimodaux de grande taille et des graphes de pensée

V2V-GoT: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models and Graph-of-Thoughts

September 22, 2025

papers.authors: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Yu-Chiang Frank Wang, Min-Hung Chen, Stephen F. Smith

cs.AI

papers.abstract

Les véhicules autonomes de pointe actuels pourraient être confrontés à des situations critiques pour la sécurité lorsque leurs capteurs locaux sont obstrués par de grands objets à proximité sur la route. La conduite autonome coopérative entre véhicules (V2V) a été proposée comme moyen de résoudre ce problème, et un cadre récemment introduit pour la conduite autonome coopérative a en outre adopté une approche qui intègre un modèle de langage multimodal de grande envergure (MLLM) pour unifier les processus de perception et de planification coopératifs. Cependant, malgré le bénéfice potentiel de l'application du raisonnement par graphe de pensées au MLLM, cette idée n'a pas été envisagée par les recherches précédentes sur la conduite autonome coopérative. Dans cet article, nous proposons un nouveau cadre de graphe de pensées spécialement conçu pour la conduite autonome coopérative basée sur le MLLM. Notre graphe de pensées inclut nos idées novatrices de perception consciente des occlusions et de prédiction consciente de la planification. Nous constituons le jeu de données V2V-GoT-QA et développons le modèle V2V-GoT pour l'entraînement et le test du graphe de pensées de conduite coopérative. Nos résultats expérimentaux montrent que notre méthode surpasse les autres approches de référence dans les tâches de perception, prédiction et planification coopératives.

English

Current state-of-the-art autonomous vehicles could face safety-critical situations when their local sensors are occluded by large nearby objects on the road. Vehicle-to-vehicle (V2V) cooperative autonomous driving has been proposed as a means of addressing this problem, and one recently introduced framework for cooperative autonomous driving has further adopted an approach that incorporates a Multimodal Large Language Model (MLLM) to integrate cooperative perception and planning processes. However, despite the potential benefit of applying graph-of-thoughts reasoning to the MLLM, this idea has not been considered by previous cooperative autonomous driving research. In this paper, we propose a novel graph-of-thoughts framework specifically designed for MLLM-based cooperative autonomous driving. Our graph-of-thoughts includes our proposed novel ideas of occlusion-aware perception and planning-aware prediction. We curate the V2V-GoT-QA dataset and develop the V2V-GoT model for training and testing the cooperative driving graph-of-thoughts. Our experimental results show that our method outperforms other baselines in cooperative perception, prediction, and planning tasks.