自動運転における意思決定のための大規模言語モデルの評価

要旨

大規模言語モデル（LLM）を自動運転に活用するための様々な手法が提案されている。自動運転におけるLLMの利用戦略の一つとして、周囲の物体をテキストプロンプトとしてLLMに入力し、それらの座標や速度情報と共に、車両の次の動きを出力する方法がある。このような目的でLLMを使用する際には、空間認識や計画立案といった能力が不可欠である。特に、以下の2つの基礎的な能力が求められる：(1) 座標情報から空間を認識し、衝突を回避するための意思決定を行う空間認識型意思決定能力、(2) 交通ルールを遵守する能力。しかし、異なるタイプのLLMがこれらの問題をどの程度正確に処理できるかについて、定量的な研究は行われていない。本研究では、自動運転の文脈において、LLMのこれら2つの能力を定量的に評価した。さらに、これらの能力を実際の車両に実装する可能性を検証するための概念実証（POC）を行うため、LLMを使用して車両を運転するシステムを開発した。

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.

自動運転における意思決定のための大規模言語モデルの評価

Evaluation of Large Language Models for Decision Making in Autonomous Driving

要旨

Support