Valutazione di Modelli Linguistici di Grandi Dimensioni per il Processo Decisionale nella Guida Autonoma

Evaluation of Large Language Models for Decision Making in Autonomous Driving

December 11, 2023

Autori: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

cs.AI

Abstract

Sono stati proposti vari metodi per utilizzare i Large Language Models (LLM) nella guida autonoma. Una strategia per impiegare i LLM in questo ambito prevede l'inserimento degli oggetti circostanti come prompt testuali nei LLM, insieme alle loro coordinate e informazioni sulla velocità, per poi generare i movimenti successivi del veicolo. Quando si utilizzano i LLM per tali scopi, sono essenziali capacità come il riconoscimento spaziale e la pianificazione. In particolare, sono richieste due capacità fondamentali: (1) il processo decisionale consapevole dello spazio, ovvero la capacità di riconoscere lo spazio a partire dalle informazioni sulle coordinate e prendere decisioni per evitare collisioni, e (2) la capacità di rispettare le regole del traffico. Tuttavia, non sono stati condotti studi quantitativi su quanto accuratamente diversi tipi di LLM possano gestire questi problemi. In questo studio, abbiamo valutato quantitativamente queste due capacità dei LLM nel contesto della guida autonoma. Inoltre, per condurre una Proof of Concept (POC) sulla fattibilità dell'implementazione di queste capacità in veicoli reali, abbiamo sviluppato un sistema che utilizza i LLM per guidare un veicolo.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.