Evaluatie van grote taalmodellen voor besluitvorming in autonoom rijden

Evaluation of Large Language Models for Decision Making in Autonomous Driving

December 11, 2023

Auteurs: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

cs.AI

Samenvatting

Er zijn verschillende methoden voorgesteld voor het gebruik van Large Language Models (LLMs) in autonoom rijden. Een strategie voor het gebruik van LLMs voor autonoom rijden omvat het invoeren van omringende objecten als tekstprompts in de LLMs, samen met hun coördinaat- en snelheidsinformatie, en vervolgens het uitvoeren van de daaropvolgende bewegingen van het voertuig. Bij het gebruik van LLMs voor dergelijke doeleinden zijn capaciteiten zoals ruimtelijk herkennen en plannen essentieel. In het bijzonder zijn twee fundamentele capaciteiten vereist: (1) ruimtelijk bewust besluitvorming, wat het vermogen is om ruimte te herkennen aan de hand van coördinaatinformatie en beslissingen te nemen om botsingen te vermijden, en (2) het vermogen om zich aan verkeersregels te houden. Er is echter geen kwantitatief onderzoek gedaan naar hoe nauwkeurig verschillende soorten LLMs deze problemen kunnen aanpakken. In deze studie hebben we deze twee capaciteiten van LLMs in de context van autonoom rijden kwantitatief geëvalueerd. Bovendien hebben we, om een Proof of Concept (POC) uit te voeren voor de haalbaarheid van het implementeren van deze capaciteiten in daadwerkelijke voertuigen, een systeem ontwikkeld dat LLMs gebruikt om een voertuig te besturen.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.