Avaliação de Modelos de Linguagem de Grande Escala para Tomada de Decisão em Condução Autônoma

Evaluation of Large Language Models for Decision Making in Autonomous Driving

December 11, 2023

Autores: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

cs.AI

Resumo

Diversos métodos foram propostos para a utilização de Modelos de Linguagem de Grande Escala (LLMs) na condução autônoma. Uma estratégia de uso de LLMs para condução autônoma envolve a inserção de objetos ao redor como prompts de texto para os LLMs, juntamente com suas informações de coordenadas e velocidade, e então a saída dos movimentos subsequentes do veículo. Ao utilizar LLMs para tais propósitos, capacidades como reconhecimento espacial e planejamento são essenciais. Em particular, duas capacidades fundamentais são necessárias: (1) tomada de decisão consciente do espaço, que é a habilidade de reconhecer o espaço a partir de informações de coordenadas e tomar decisões para evitar colisões, e (2) a capacidade de aderir às regras de trânsito. No entanto, pesquisas quantitativas não foram realizadas sobre quão precisamente diferentes tipos de LLMs podem lidar com esses problemas. Neste estudo, avaliamos quantitativamente essas duas habilidades dos LLMs no contexto da condução autônoma. Além disso, para realizar uma Prova de Conceito (POC) sobre a viabilidade de implementar essas habilidades em veículos reais, desenvolvemos um sistema que utiliza LLMs para dirigir um veículo.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.