Evaluierung von großen Sprachmodellen für Entscheidungsfindung im autonomen Fahren

Evaluation of Large Language Models for Decision Making in Autonomous Driving

December 11, 2023

Autoren: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

cs.AI

Zusammenfassung

Verschiedene Methoden wurden vorgeschlagen, um Large Language Models (LLMs) im Bereich des autonomen Fahrens zu nutzen. Eine Strategie zur Verwendung von LLMs für das autonome Fahren besteht darin, umgebende Objekte als Textprompts in die LLMs einzugeben, zusammen mit deren Koordinaten- und Geschwindigkeitsinformationen, und anschließend die nachfolgenden Bewegungen des Fahrzeugs auszugeben. Bei der Verwendung von LLMs für solche Zwecke sind Fähigkeiten wie räumliche Erkennung und Planung entscheidend. Insbesondere sind zwei grundlegende Fähigkeiten erforderlich: (1) raumbezogene Entscheidungsfindung, also die Fähigkeit, den Raum anhand von Koordinateninformationen zu erkennen und Kollisionen zu vermeiden, und (2) die Fähigkeit, Verkehrsregeln einzuhalten. Bislang wurde jedoch keine quantitative Forschung dazu durchgeführt, wie genau verschiedene Arten von LLMs diese Probleme bewältigen können. In dieser Studie haben wir diese beiden Fähigkeiten von LLMs im Kontext des autonomen Fahrens quantitativ bewertet. Darüber hinaus haben wir, um einen Proof of Concept (POC) für die Machbarkeit der Implementierung dieser Fähigkeiten in echten Fahrzeugen durchzuführen, ein System entwickelt, das LLMs zur Steuerung eines Fahrzeugs verwendet.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.