V2V-LLM: マルチモーダル大規模言語モデルを用いた車両間協調型自動運転

V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models

February 14, 2025

著者: Hsu-kuang Chiu, Ryo Hachiuma, Chien-Yi Wang, Stephen F. Smith, Yu-Chiang Frank Wang, Min-Hung Chen

cs.AI

要旨

現在の自動運転車両は、周囲のシーンを理解し将来の軌道を計画するために主に個々のセンサーに依存していますが、センサーが故障したり遮蔽されたりすると信頼性が低下する可能性があります。この問題に対処するため、車両間通信（V2V）を利用した協調知覚手法が提案されていますが、これまでの研究は主に検出と追跡に焦点を当ててきました。これらのアプローチが全体的な協調計画性能にどのように寄与するかは、まだ十分に検討されていません。大規模言語モデル（LLM）を用いた自動運転システムの最近の進展に触発され、我々はLLMを協調自動運転に統合する新しい問題設定を提案します。これには、提案するVehicle-to-Vehicle Question-Answering（V2V-QA）データセットとベンチマークが含まれます。また、我々はVehicle-to-Vehicle Large Language Model（V2V-LLM）というベースライン手法を提案します。この手法は、複数の接続された自動運転車両（CAV）からの知覚情報を融合し、運転関連の質問（グラウンディング、注目すべき物体の識別、計画）に答えるためにLLMを使用します。実験結果は、提案するV2V-LLMが協調自動運転における様々なタスクを実行するための有望な統一モデルアーキテクチャであり、異なる融合アプローチを使用する他のベースライン手法を上回ることを示しています。我々の研究は、将来の自動運転システムの安全性を向上させる新しい研究方向性を創出します。プロジェクトウェブサイト: https://eddyhkchiu.github.io/v2vllm.github.io/

English

Current autonomous driving vehicles rely mainly on their individual sensors to understand surrounding scenes and plan for future trajectories, which can be unreliable when the sensors are malfunctioning or occluded. To address this problem, cooperative perception methods via vehicle-to-vehicle (V2V) communication have been proposed, but they have tended to focus on detection and tracking. How those approaches contribute to overall cooperative planning performance is still under-explored. Inspired by recent progress using Large Language Models (LLMs) to build autonomous driving systems, we propose a novel problem setting that integrates an LLM into cooperative autonomous driving, with the proposed Vehicle-to-Vehicle Question-Answering (V2V-QA) dataset and benchmark. We also propose our baseline method Vehicle-to-Vehicle Large Language Model (V2V-LLM), which uses an LLM to fuse perception information from multiple connected autonomous vehicles (CAVs) and answer driving-related questions: grounding, notable object identification, and planning. Experimental results show that our proposed V2V-LLM can be a promising unified model architecture for performing various tasks in cooperative autonomous driving, and outperforms other baseline methods that use different fusion approaches. Our work also creates a new research direction that can improve the safety of future autonomous driving systems. Our project website: https://eddyhkchiu.github.io/v2vllm.github.io/ .